สันนิษฐานว่าวัดนี้สร้างขึ้นเมื่อปี พ.ศ. 2431 ในรัชสมัยพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ภายในวัดมีสิ่งที่น่าสนใจอย่างมากคือ “กุฎิทอง” เป็นเรือนไม้สักทองขนาดใหญ่ ที่สร้างโดยสมเด็จพระชนกของสมเด็จพระอมรินทรามาตย์พระอัครมเหสีในรัชกาลที่1 เพื่อถวายให้แด่เจ้าอาวาสวัดบางนางลี่ ต่อมาที่ดินบริเวณที่ปลูกกุฎีทองถูกน้ำเซาะจนตลิ่งพังจนต้องย้ายกุฎีทองมาไว้ที่วัดภุมรินทร์ จึงเรียกชื่อวัดรวมกันว่า “วัดภุมรินทร์กุฎีทอง”