เป็นชื่อที่ชาวบ้านเรียกกันมาแต่เดิม เพราะเหตุว่ามีรูปร่างลักษณะคล้ายภูเขาสูงใหญ่และเชื่อกันว่ามีทรัพย์สมบัติ และอาวุธเก็บรักษาอยู่ภายใน ประกอบกับในเขตเมืองโบราณศรีเทพ มีโบราณสถานที่มีลักษณะคล้ายภูเขาที่เรียกว่า “เขาคลังใน” จึงได้เรียกโบราณแห่งนี้ว่า “เขาคลังนอก” เป็นศาสนสถานขนาดใหญ่เนื่องในวัฒนธรรมทวารวดี ตั้งอยู่นอกเมือง ห่างออกไปราว 2 กิโลเมตร สันนิษฐานว่ามีลักษณะเป็นมหาสถูป มีฐานขนาดใหญ่ทรงสี่เหลี่ยมจัตุรัส ก่อด้วยศิลาแลงที่ยังคงสภาพค่อนข้างสมบูรณ์ ประดับตกแต่งฐานด้วยอาคารจำลองขนาดต่างๆอยู่โดยรอบ ภายในทึบตัน มีบันไดทางขึ้นทั้ง 4 ด้าน ถือได้ว่าเขาคลังนอกเป็นศาสนสถานที่มีขนาดใหญ่และสมบูรณ์มากที่สุดในบรรดาศาสนสถานที่ร่วมสมัยเดียวกัน