ถ้ำชาละวัน มีที่มาจากวรรณคดีเรื่อง ไกรทอง บทพระราชนิพนธ์ของรัชกาลที่ 2 ลักษณะเป็นช่องขุดลึกลงไปในดิน มีเรื่องเล่าว่า เมื่อประมาณ 65 ปีมาแล้ว พระภิกษุวัดนครชุมรูปหนึ่งจุดเทียนไขเดินเข้าไปในถ้ำจนหมดเทียนเล่มหนึ่งก็ยังไม่ถึงก้นถ้ำ จึงไม่ทราบว่าภายในถ้ำชาละวันจะสวยงามวิจิตรพิสดารเพียงใด ในปัจจุบันดินพังทลายทับถมถ้ำจนตื้นเขิน ทางจังหวัดได้สร้างรูปปั้นไกรทองและชาละวันไว้ที่บริเวณปากถ้ำด้วย