วัดกลางสวน สร้างเมื่อประมาณ พ.ศ. ๒๓๖๐ หลังจากรัชกาลที่ ๒ ทรงสร้างป้อมปู่เจ้าสมิงพรายเสร็จเรียบร้อยแล้ว ทรงพระกรุณาโปรดเกล้าฯ ให้เจ้าพระยามหาโยธา (เจ่ง) คุมพวกมอญมาประจำที่ป้อมนี้ เมื่อ พ.ศ. ๒๓๕๘ เมื่อพวกทหารมอญมาอยู่จึงได้คิดสร้างวัดขึ้นชาวบ้านเรียกว่า "ว