เจ้าอาวาสรูปแรกที่สร้างวัดชื่อ หลวงพ่อคง คุรุโก (พ่อพาน) เป็นชาวบ้านตำบลหาดยาย อำเภอหลังสวน จังหวัดชุมพร หลังจากท่านอุปสมบทแล้ว ท่านได้เดินธุดงค์ ไปทางทิศเหนือประมาณ 5 ปีเศษ ท่านผู้บันทึกได้คัดลอกจากตำราต่อกระดูกของหลวงพ่อมาโดยตรงปัจจุบันตำราเล่มนี้ ยังมีอยู่ที่วัด ส่วนที่ดินที่ตั้งวัดเป็นมรดกของหลวงพ่อและน้อง ของหลวงพ่อ ท่านมีพี่น้องรวม 3 ท่านได้แก่ 1.หลวงพ่อคง คุรุโก (พ่อพาน) 2.แม่ชีนุ้ย 3.แม่ชีเกตุ เมื่อหลวงพ่อกลับจากเดินธุดงธ์แล้ว มาสร้างวัดนี้ น้องสาวทั้ง 2 ก้ได้บวชชี และอุทิศที่ดินทั้งหมด ของทั้ง 3 พี่น้อง ให้สร้างวัด ที่ดินของหลวงพ่อชื่อ"สวนหลุมดิน""สวนทองปาเร็จ"ของแม่ชีนุ้ยชื่อ"สวนแม่ชีนุ้ย"และ"สวนต้นจันทร์"สวนแม่ชีเกตุชื่อ"สวนแม่ชีเกตุ" ติดต่อกันทั้ง3พี่น้อง เหตุที่ต้องย้ายวัด จากสวนหลุมดินและสวนทองปาเร็จเพราะอยู่ริมแม่น้ำหลังสวน กลัว่านานๆเข้าน้ำจะเซาะตลิ่งพังหลวงพ่อพร้อมแม่ชีทั้ง2ท่านร่วมกับพี่น้องชาวบ้านช่วยกันย้ายวัดจากที่เดิม ห่างออกจากที่เดิม 6 เส้น ไปทางทิศใต้ อีกฝั่งของห้วยจันทร์แผล เป็นที่สวนแม่ชีนุ้ย จึงได้สร้างวัดขึ้นใหม่ ในที่ดินของแม่ชีนุ้ย(ที่ตั้งวัดอยู่ปัจจุบัน) ที่ดินแปลงนี้มีเนื้อที่จำนวน 35 ไร่ 2 งาน 51 ตารางวา หลักฐานที่ธรณีสงฆ์โฉนดที่ดินเลขที่ 15165 เล่มที่ 152 หน้าที่ 65 หมู่ที่ 4 ตำบลหาดยาย ต่อมากลางปี 2422 หลวงพ่อชักชวนชาวบ้านสร้างเจดีย์ เพื่อเป็นอนุสรณ์ แด่หลวงพ่อคง ได้เริ่มก่อสร้างรากฐานเจดีย์ที่กลางสนามวัดขุดดินตั้งฐานเจดีย์ มีของที่บรรจุคือ เหรียญ ร.5 หัวนอโม เงินทอง ใช้เสาไม้แก่นปักไว้ที่ใจกลางเจดีย์ เจดีย์นี้สร้างไม่ทันสำเร็จ เพราะท่านได้มรณะเสียก่อนปลายปี 2422 ว่าถึงความศักดิ์สิทธิ์ ของหลวงพ่อบางแล้วก็ไม่ต่ำกว่าหลวงพ่อคง เพราะท่านเป็นศิษย์ของหลวงพ่อคงทั้งเป็นเครือญาติกันด้วย มีเรื่องเกี่ยวกับความขลัง และความศักดิ์สิทธิ์ของหลวงพ่อบ่างว่า วันหนึ่งท่านนึกสนุกขึ้นมา ถามพระลูกวัดว่า พวกคุณเคยเห็นกระต่าย (เหล็กขูดมะพร้าว) ชนกันไหม? พวกลูกวัดบอกว่า ไม่เคยเห็นท่านใช้ให้ไปเอามาจากโรงฉัน ๒ ตัว แล้วท่านประณมมือหลับตาภาวนาคาถาของท่านอยู่ครู่หนึ่ง ปรากฏว่า กระต่ายทั้งคู่ชนกัน ดังท่านว่า จนกว่าท่านจะใช้ให้หยุด กระต่ายจึงหยุด อีกเรื่องหนึ่ง เล่ากันมาว่า มีเจ้าอาวาสรูปหนึ่ง มาจากวัดไหนไม่ปรากฏ ชอบคุยโอ้อวดอิทธิ์ฤทธิ์ อยากจะลองความขลังและความศักดิ์สิทธิ์กับหลวงพ่อ หลวงพ่อใช้ให้เจ้าอาวาสรูปนั้นแสดงก่อน เจ้าอาวาสรูปนั้น ก็เริ่มปฏิบัติตามที่หลวงพ่อใช้ เจ้าอาวาสรูปนั้นโน้นต้นหมากที่หน้ากุฏิของหลวงพ่อ ทั้งต้นโต และ สูง ลงตากผ้าจีวร ให้หลวงพ่อดูคราวนี้เป็นทีของหลวงพ่อบาง หลวงพ่อบาง ก็เลยลุกขึ้นหยิบเขากวางที่ติดอยู่ข้างขาวกุฏิฉีกออกหลาย ๆ ชิ้น เจ้าอาวาสรูปนั้น จึงผูดว่าเสมอกัน ? อีกเรื่องหนึ่ง ที่หลวงพ่อแสดงให้เจ้าอาวาสรูปนั้นเห็น คือหลวงพ่อใช้พระลูกวัดของท่านให้ไปเอาไม้กระดานขนาด ๔?๒ ยาวประมาณ ๑ เมตร แล้วยังใช้ให้ไปเอากะลาตวงข้าวสารมาอีกหนึ่งใบ ให้คว่ำอวนข้าวสารแล้วเอาไม้กระดานตั้งบน ให้เจ้าอาวาสรูปนั้น นั่งยองยองบนไม้กระดาน ต่อจากนั้นท่านเองนั่นภาวนาคาถาอีก ปรากฏว่า อวนข้าวสารและไม้กระดานพาเจ้าอาวาสรูปนั้นหมุนเหมือนกับลูกลม ทำให้เจ้าอาวาสรูปนั้นปวดหัวเวียนศรีษะ จึงร้องบอกหลวงพ่อว่า ผมกลัวแล้ว ขอให้หลวงพ่อหยุด หลวงพ่อก็ใช้ให้อวนข้าวสารและไม้กระดานหยุด