ถ้ำหินงอก หินย้อย แห่งนี้ พระราชวิมลโมลี เจ้าอาวาสวัดพายัพได้ไปนำหินที่ใช้ทำลูกนิมิต หินปะดับสวน และ หินอ่อนอุโบสถซึ่งไปพบหินงอกหินย้อยที่ชาวบ้านเขาวง ต.หน้าพระลาน อ. พระพุทธบาท จ. สระบุรี นำมาตั้งขายโดยหินเหล่านี้ได้มาจากการระเบิดหินภูเขา ซึ่งรัฐบาลให้สัมปทาน แก่บริษัทโรงงานโม่หินผลิตปูน ซึ่งภายในมีหินงอกหินย้อยสีสันสวยงามจำนวนมาก หลวงพ่อเจ้าคุณวัดพายัพ จึงคิดหาวิธีเก็บรักษาหินงอกหินย้อยเหล่านี้ ไว้ให้คนรุ่นหลังได้ดูโดยสร้างกุฏิวายุภักษ์สำนักงานเจ้าอาวาสขึ้น ทำชั้นล่างให้เป็นถ้ำหินงอก หินย้อย ซึ่งได้ออกแบบเขียนแปลนและควบคุมการก่อสร้างเองทุกขั้นตอน