เป็นวัดเก่าแก่ที่มีอายุเกือบ 200 ปี เริ่มมีปรากฏชื่อวัดครั้งแรกเมื่อเรือพระที่นั่ง พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว จอดเทียบท่าวัดโกรกกรากเมื่อครั้งเสด็จประพาสต้นจากบางปะอินไปเพชรบุรี สิ่งที่น่าสนใจของวัดโกรกกรากคือพระประธานในอุโบสถนอกจากจะมีพุทธลักษณะงดงามแล้ว ยังแปลกไปจากพระพุทธรูปที่พบเห็นทั่วไปคือสวมแว่นดำ การสวมแว่นตาดำให้พระพุทธรูปนั้น มีประวัติเล่าว่าเนื่องจากครั้งหนึ่งได้เกิดโรคตาแดงระบาดไปทั่วบ้านโกรกกราก การแพทย์ยังไม่เจริญ ด้วยความเลื่อมใสศรัทธาองค์พระศิลาแลงกันมานาน ชาวบ้านจึงได้พากันมาบนบานศาลกล่าว ถ้าตาหายเจ็บหายแดงจะนำแผ่นทองมาปิดที่ดวงตาขององค์พระศิลาแลง ผลปรากฏว่าตาหายแดงกันทั้งหมู่บ้าน ชาวบ้านจึงได้นำแผ่นทองมาปิดที่ตาขององค์พระศิลาแลงเต็มไปหมดจนเกิดความไม่สวยงาม ต่อมาพระครูธรรมสาคร (หลวงปู่กรับ ญาณวฑฺฒโน) เจ้าอาวาสในขณะนั้นจึงหาอุบายโดยนำแว่นตามาใส่ให้พระศิลาแลง หลังจากนั้นเป็นต้นมาชาวบ้านจึงมีการถวายแว่นตาแทนการปิดทองไปโดยปริยาย หลงพ่อปูเป็นพระพุทธรูปที่ชาวบ้านในสมุทรสาครให้ความเคารพศรัทธา ตลอดจนบรรดาเรือประมงเมื่อจะออกทะเลหาปลา มักจุดประทัดไหว้หลวงพ่อปู่ตามแบบอย่างชาวจีน รวมถึงพ่อค้าแม่ค้าก็มักยึดถือตาม กันมา แม้แต่สาธุชนที่มาไหว้หลวงพ่อปู่ในปัจจุบัน ก็มักจุดประทัดถวายหลวงพ่อปู่เป็นประจำทุก วันเช่นเดียวกัน ส่วนคนในพื้นที่ถ้าขับยวดยานพาหนะผ่านโบสถ์หลวงพ่อปู่ก็จะบีบแตรถวายสักการะองค์หลวงพ่อปู่ทุกครั้ง