ถ้ำเขาช้างหายอยู่ภายใต้เขาหินปูนเล็กๆ เรียกว่า เขาช้างหาย เป็นภูเขาโดเดี่ยวกลางที่ราบลุ่ม ภายในมีโถงถ้ำเล็กใหญ่อยู่ประมาณ 6 ห้อง มีหินงอกหินย้อยที่ยังมีความสมบูรณ์อยู่มาก บางส่วนยังคงก่อตัวอยู่ ภายในถ้ำได้รับการปรับปรุงทางเดิน จัดแต่งแสงไฟใว้ให้สำหรับผู้มาเที่ยวถ้ำ ชื่อถ้ำเหล่านี้มีตำนานเล่าว่า เมื่อขบวนช้างของเจ้าเมืองนครศรีธรรมราชไปร่วมงานก่อสร้างพระบรมธาตุเจดีย์ เดินทางมาถึงบริเวณเขาลูกนี้ แม่ช้างเชือกหนึ่งเกิดเจ็บท้องจะคลอดลูก ขบวนจึงหยุดพักรอที่เชิงภู แม่ช้างคลอดลูกเป็นพลายตัวงาม และวิ่งเล่นซุกซนตามประสาลูกช้าง จนแตกตื่นไปทั้งกระบวน ลูกช้างจึงวิ่งเตลิดเข้าไปในถ้ำ หมอควาญจุดไต้เข้าไปตามหาแต่ก็ไม่พบเจอ เนื่องจากภายในถ้ำมีพื้นที่ต่างระดับกัน อีกทั้งหินงอก หินย้อยจำนวนมาก ก็เป็นม่านพรางเอาไว้ ลูกช้างจึงหายเข้าไปในถ้ำ จึงเรียก ถ้ำช้างหายตั้งแต่นั้นมา