สมเด็จกรมพระยาดำรงราชานุภาพเคยเสด็จไปวัดนี้ และทรงกล่าวไว้ในพระนิพนธ์เรื่องเที่ยวตามทางรถไฟไว้ว่า “วัดไลย์อยู่ริมน้ำบางขาม พ้นเขาสมอคอนไปทางตะวันตกไม่ห่างนัก เป็นวัดเก่าชั้นแรกตั้งกรุงศรีอยุธยา แล้วปฏิสังขรณ์เมื่อรัชกาลสมเด็จพระเจ้าบรมโกศ ยังมีลายภาพของเก่าปั้นเรื่องทศชาติ และเรื่องปฐมสมโพธิงามน่าดูนัก ที่วัดไลย์นี้มีรูปพระศรีอาริย์เป็นของสำคัญอีกอย่างหนึ่งซึ่งผู้คนนับถือกันมาแต่โบราณ เมื่อรัชกาลที่ 5 ไฟป่าไหม้วิหารรูปพระศรีอาริย์ชำรุดไป พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวโปรดฯให้อัญเชิญลงมาปฏิสังขรณ์ในกรุงเทพฯ แล้วคืนกลับไปประดิษฐานอย่างเดิม ถึงเทศกาลราษฎรยังเชิญออกแห่เป็นประเพณีเมืองมาทุกปีมิได้ขาด” ปัจจุบันทางวัดได้ก่อสร้างวิหารสำหรับประดิษฐานพระศรีอาริย์ขึ้นใหม่ ด้านหน้าเป็นรูปมณฑลจตุรมุขแลดูสง่างามมาก นอกจากนี้แล้วยังมีสิ่งที่น่าสนใจอีกหลายอย่าง เช่น พระวิหาร ซึ่งเป็นสถาปัตยกรรมแบบอยุธยาตอนต้น คือ มีลักษณะเจาะช่องผนังแทนหน้าต่าง ภายในมีพระประธานขนาดใหญ่ปางมารวิชัย ลงรักปิดทอง มีซุ้มเรือนแก้วแบบพระพุทธชินราช จังหวัดพิษณุโลก ด้านหน้าและด้านหลังของพระวิหารมีภาพปูนปั้นเรื่องทศชาติ และเรื่องปฐมสมโพธิ ซึ่งนับว่าเป็นภาพประติมากรรมฝาผนังขนาดใหญ่ที่มีความสำคัญยิ่งชิ้นหนึ่งของชาติ นอกจากนี้ยังมีพระอุโบสถ และวิหารรูปมณฑปยอดปรางค์อยู่ใกล้ ๆ กับพระวิหาร และพิพิธภัณฑ์ประจำวัดซึ่งมีของเก่ามากมายให้ชม เช่น พระพุทธรูป เครื่องหมาย เครื่องลายคราม เครื่องมือ เครื่องใช้สมัยโบราณ และอื่น ๆ อีกมากมาย