ปูชนียสถานโบราณมีอายุกว่า 230 ปี ถูกสร้างขึ้นประมาณพุทธศักราช 2305 สมัยอยุธยาตอนปลาย วัดแห่งนี้ยังตั้งอยู่ใกล้กับโบราณสถาน "เมืองบน" เป็นหัวเมืองโบราณสมัยทราวดี ซึ่งทราบได้จากการขุดค้นพบโบราณวัตถุ และซากเมืองของกรมศิลปากร ปัจจุบันบังปรากฏร่องรอยของคูเมืองอยู่ที่บ้านเขาไม้เดน ซึ่งอยู่ห่างจากวัดเพียง 2 กม. จากหลักฐานเหล่านี้ทำให้ทราบได้ว่า วัดพระปรางค์เหลืองเป็นชุมชน แหล่งอารยธรรมเก่าแก่ของประเทศไทยมาแต่โราณกาล ส่วนองค์พระปรางค์มีลักษณะเป็นการพูนของดินสูงเหมือนเขาเป็นเตี้ย เชื่อกันว่า เป็นสถานที่ศักดิ์สิทธิ์ที่ใครแตะต้องไม่ได้ เพราะเคยปรากฏผลกับบุคคลผู้ไม่ยำเกรงต่อสถานที่แห่งนี้จนเป็นที่ทราบกันดีของชาวบ้านทั่วไป จากบันทึกของทางวัด และจดหมายเหตุของทางราชการ กล่าวว่า พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว รัชกาลที่5 หรือ "พระพุทธหลวง" ได้เคยเสด็จประพาสต้น ณ วัดพระปรางค์เหลือง รวม 3 ครั้ง โดยแต่ละครั้งพระองค์ทรงทอดพระเนตรวิธีเหยียบฉ่ารักษาโรคต่างๆ อาทิ อัมพาต เคล็ด ขัดยอก ซึ่งวัดแห่งนี้มีชื่อเสียงในการรักษาโรคภัยไข้เจ็บด้วยยาสมุนไพรตามหลักโบราณ