ถ้ำพระ หรือ ถ้ำภูหมาไน อยู่ห่างจากศูนย์บริการนักท่องเที่ยวประมาณ 1 กิโลเมตร เป็นชะง่อนผายื่นออกจากฝั่งแม่น้ำมูล กว้าง 45 เมตร ลึก 10 เมตร ภายในถ้ำพบศิลาจารึกและแท่นศึวลึงค์ (ฐานโยนี) อายุราวพุทธศตวรรษที่ 12 13 สมัยพระเจ้ามเหนทรวรมัน (เจ้าชายจิตรเสน) ปัจจุบันศิลาจารึกตัวจริงได้นำไปเก็บรักษาไว้ที่ พิพิธภัณฑสถานแห่งชาติอุบลราชธานี