วัดเขาพระทอง ตามหลักฐานที่ปรากฏได้จารึกไว้ว่าสร้างมาตั้งแต่สมัยศรีวิชัยตอนต้น หรือในยุคของกษัตริย์คนสำคัญคือ พระเจ้าศรีธรรมโศกราช และพระเจ้าจันทรภาณุศรีธรรมราช เป็นวัดที่เก่าแก่มีอายุประมาณ 800 กว่าปี มีพระพุทธรูปสีทองจำนวนมากถึง 29 องค์ ซึ่งพระพุทธรูปเหล่านั้นประดิษฐานอยู่รอบๆ ภูเขาทางด้านทิศตะวันออก เป็นพระปูนปั้นด้วยปูนขาวผสมด้วยน้ำผึ้งอ้อย และน้ำมันยาง ส่วนโครงสร้างภายในเป็นโครงสร้างที่ทำด้วยไม้เนื้อแข็งทั้งหมด ทั้งที่ยังคงสภาพสมบูรณ์อยู่จำนวน 20 กว่ารูป และทั้งซากปรักหักพังประมาณ 40 50 รูป ตามตำนานเล่าต่อกันมาว่า ในสมัยที่มีการสร้างพระบรมธาตุนครศรีธรรมราช พระนางเหมชาลาได้นำคนและสิ่งของมาช่วยงานก่อสร้างพระบรมธาตุนครศรีธรรมราช เมื่อมาแวะพักระหว่างทางจึงได้สร้างพระพุทธรูปสีทองขึ้นเป็นจำนวนมาก ในบรรดาพระพุทธรูปสีทอง 29 องค์ มีพระพุทธรูปอยู่องค์หนึ่ง ซึ่งมีขนาดใหญ่ที่สุดที่ชาวบ้านเรียกว่า “หลวงพ่อองค์ใหญ่” ที่ด้านหลังผนังถ้ำของหลวงพ่อองค์ใหญ่เยื้องไปทางด้านซ้าย มีรอยฝ่ามือขนาดใหญ่ปรากฏอยู่บนแผ่นหิน ซึ่งเป็นที่อัศจรรย์ใจแก่ผู้ที่ขึ้นไปกราบไหว้ขอพร นอกจากนี้หลวงพ่อองค์ใหญ่ยังเป็นพระพุทธรูปที่ศักดิ์สิทธิ์ในด้านการป้องกันศาสตราวุธทั้งหลายและอันตรายทั้งปวง จากประสบการณ์ของผู้ที่พกเหรียญหลวงพ่อองค์ใหญ่ติดตัวไว้ จะแคล้วคลาดปลอดภัยจากอันตรายทั้งหลาย ต่อมาเมื่อปี พ.ศ. 2491 มีพระธุดงค์รูปหนึ่งชื่อ หลวงพ่อเขียด ท่านธุดงค์มาปักกรดอาศัยอยู่ที่เชิงเขาหน้าพระพุทธรูปโบราณที่ประดิษฐานเรียงรายอยู่ตามเชิงเขาเป็นแนวยาว เมื่อหลวงพ่อเขียดออกไปบิณฑบาตในหมู่บ้านเขากอย ซึ่งห่างไกลจากที่พักของท่านประมาณ 3 กิโลเมตร ชาวบ้านหลายครัวเรือนได้ตักบาตร กับท่าน และได้สอบถามท่านว่าพักอยู่ที่ไหน เมื่อท่านแจ้งรายละเอียดให้ทราบ จึงนำพวกชาวบ้านรวมหลายคนติดตามขึ้นมาที่เขา ณ ที่พักของท่าน เมื่อชาวบ้านมาพบเห็นก็เกิดความเลื่อมใสศรัทธา คิดจะสร้างเป็น สำนักสงฆ์ จึงนิมนต์หลวงพ่อเขียดให้อยู่ประจำ ณ ที่นั้น แล้วชาวบ้านก็จัดปลูกสร้างที่พักขึ้นด้วยไม้หลังคา มุงจาก สาคูบ้าง เป็นกุฏิพระพักนอน เป็นที่ฉันอาหาร เมื่อมีชาวบ้านเข้ามาที่พักสงฆ์มากขึ้นก็ช่วยกันแผ้วถางป่าออกเป็นบริเวณกว้างพอสมควร แล้วสร้างโรงเรือนเป็นที่ทำบุญฟังธรรมฟังเทศน์จากหลวงพ่อในวัน ธรรมสาวนะ คือ วันพระ เป็นประจำ ต่อมาชาวบ้านก็ให้ลูกหลานเข้ามาบวชบรรพชาอุปสมบทอยู่จำพรรษา กับหลวงพ่อ ซึ่งแต่ละปีไม่น้อยกว่า 10 รูป จากนั้นจึงตั้งชื่อว่า “สำนักสงฆ์เขาพระ” นอกจากนั้นมีผู้ช่วยเหลือจำนวนมากร่วมกันบุกเบิกแผ้วถางป่าออกเป็นบริเวณกว้างตัดแนวเขต สำนักสงฆ์ทั้ง 4 ด้าน รวมเป็นเนื้อที่ 150 ไร่ ทางทิศเหนือเป็นแนวป่าทึบไม่มีบ้านคนประมาณ 4 5 กิโลเมตร ทางทิศใต้เป็นป่าทึบประมาณ 3 4 กิโลเมตร ทิศตะวันตกเป็นป่าแก่ดงดิบจนถึงแนวเทือกเขาบรรทัด ทิศตะวันออก เขตป่าประมาณ 3 กิโลเมตร มีหมู่บ้านเขากอย ตำบลวังอ่าง อำเภอชะอวด ในบริเวณอาณาเขต มีภูเขาอยู่ 2 ลูก คือ 1. เขาพระ 2. เขาหลักได ซึ่งเขาลูกที่ 2 มีถ้ำอยู่มากรอบๆ เขา