สันนิษฐานว่าวัดท่าช้างสร้างขึ้นเมื่อต้นรัชกาลที่ 5 ประมาณ พ.ศ. 2415 มีประวัติความเป็นมาดังนี้ วัดท่าช้าง เดิมชื่อ “วัดเทพกุญชรติดถาวราราม” ที่ได้นามเช่นนั้นเพราะ ผู้อาวุโสเล่าให้ฟังสืบกันมา มีนายพรานผู้หนึ่งนามว่า “ธรรมยา” อยู่ที่เมืองภูมิ ปัจจุบันคือหมู่บ้านหนองเต่า อำเภอบางมูลนาก จังหวัดพิจิตร นัยว่านายพรานผู้นี้เป็นพระสหายกับ พระเจ้าแผ่นดิน ได้พบช้างเผือก งาเนียม ขี้หอม เชือกหนึ่ง จึงได้กราบทูลแด่พระเจ้าแผ่นดิน พระองค์ได้ส่งอำมาตย์ไปคล้องกับนายพราน ช้างเชือกนั้นนามว่า “พ่อพลายนิมิต” เมื่อคล้องได้แล้วจึงนำมายังฝั่งแม่น้ำน่านที่วัดท่าช้างในปัจจุบัน พากันต่อแพนำช้างล่องแพไปยังกรุงศรีอยุธยา ดังนั้นสถานที่นี้จึงได้นามว่า “ท่าช้าง” และวัดแห่งนี้จึงได้นามว่า “วัดท่าช้าง” ภายในวัดมีมณฑปหลวงพ่อหินที่เก่าแก่คู่บ้านคู่เมือง พระพุทธรูปสลักด้วยหินทราย และที่สังเกตได้ง่ายคือ มีรูปปั้นช้างขนาดใหญ่ 2 เชือกอยู่บริเวณด้านหน้าวัด