ในอดีตที่นี่เคยเป็นถ้ำที่สมเด็จพระเจ้าตากสินมหาราชได้แวะเข้าพัก พร้อมไพร่พล โดยถ้ำสาริกา เป็นถ้ำที่มีหินงอก หินย้อยสวยงาม ภายในถ้ำมีโถงขนาดใหญ่ แยกเป็นถ้ำร้อน และถ้ำเย็น ถ้ำสาลิกามีชื่อเดิมว่า ถ้ำตีเหล็ก เพราะเป็นสถานที่ตีเหล็กของชาวบ้านในสมัยก่อน ต่อมาได้เปลี่ยนชื่อมาเป็นถ้ำสาลิกา เพราะชาวบ้านสมัยนั้นเข้าไปในถ้ำและเห็นนกสาลิกาอยู่หลายคู่ และต่อมาใน ปี พ.ศ. 2511 มีการส้างปูชนียวัตถุ 2 รูป คือ พระสังกระจาย และพระสีวรี พร้อมสร้างบันไดขึ้นถ้ำ และเปลี่ยนจากสำนักสงฆ์ที่มีผู้แวะเวียนมาปฏิบัติธรรมอยู่เป็นประจำ ให้เป็นวัดถ้ำสาริกา เมื่อปี พ.ศ. 2530