เดิมชื่อว่า “วัดหนองในดง” สร้างขึ้นเมื่อ พ.ศ.๒๔๖๓ ตั้งอยู่ที่บ้านหนองในดง ตำบลบางลาย โดยหลวงพ่อเสือ ลูกศิษย์หลวงพ่อเงิน เดิมเป็นเพิงเล็กๆ ที่หลวงพ่อเงินใช้เป็นที่พักหรือค้างแรมเวลาเดินทางอยู่ห่างจากวัดท้ายน้ำ ราว ๗ กิโลเมตร ชาวบ้านเห็นว่าหลวงพ่อเงินมาแวะพักบ่อยๆจึงได้สร้างศาลาที่พักให้เป็นการถาวร และช่วงปลายอายุหลวงพ่อเงินชาวบ้านหนองในดงได้ร่วมกันสร้างวัดเล็กๆขึ้น และหลวงพ่อเงินได้ให้หลวงพ่อเสือลูกศิษย์มาจำพรรษาที่นี่ ศาลาการเปรียญเดิมเป็นไม้หลังเล็ก อายุ ๗๐ กว่าปี รวมทั้งอุโบสถ์หลังเก่า กุฏิสงฆ์ชำรุดทรุดโทรมผุพังไปตามกาลเวลาและประสบอุทกภัยน้ำท่วมเป็นเวลานานครั้งละหลายเดือน ทูลกระหม่อมหญิงอุบลรัตนราชกัญญา สิริวัฒนาพรรณวดี ทรงประทานทุนทรัพย์ส่วนพระองค์ ดำเนินการซ่อมแซมศาลาการเปรียญขึ้นมาใหม่ โดยให้เป็นสถานที่ศึกษาเล่าเรียนของชาวบ้านหนองในดง ต่อมาเมื่อวันที่ ๒๗ ตุลาคม พ.ศ. ๒๕๕๑ ทูลกระหม่อมหญิงอุบลรัตนราชกัญญา สิริวัฒนาพรรณวดี ทรงประทานชื่อวัดให้ใหม่ว่า “วัดคุณพุ่ม” และให้เป็นวัดประจำพระองค์