เดิมเรียกว่า วัดพญายาง เนื่องจากภายในบริเวณวัดมีต้นยางยักษ์ต้นหนึ่งตระหง่านเป็นสัญลักษณ์ท่ามกลางดงต้นยาง เดิมชื่อวัดยางศรีสุธรรมาราม แล้วเปลี่ยนเป็นวัดยาง ณ รังสี จนถึงปัจจุบัน ส่วน พิพิธภัณฑ์เรือพื้นบ้าน ตั้งอยู่ที่ศาลาการเปรียญไม้ สร้างขึ้นเมื่อ พ.ศ.2470 ตั้งอยู่ริมแม่น้ำลพบุรี ศาลาหลังนี้ได้รับรางวัลอนุรักษ์สถาปัตยกรรมดีเด่น ในปี พ.ศ. 2536 ลักษณะเป็นสถาปัตยกรรมแบบศาลาวัดในชนบทภาคกลางในประเทศไทย ทั้งนี้ผู้สร้างจำลองแบบมาจากภาพศาลาที่อยู่ด้านหลังธนบัตรใบละ 1 บาท ที่พิมพ์ในสมัยรัชกาลที่ 8 ซึ่งนับวันจะหาดูได้ยาก ต่อมาได้มีการบูรณะซ่อมแซมแล้วเสร็จในปี พ.ศ.2531 โครงการพิพิธภัณฑ์เรือพื้นบ้านจึงได้เกิดขึ้น และนับเป็นพิพิธภัณฑ์เรือพื้นบ้านแห่งแรกของประเทศไทย