ในสมัยเมื่อครั้งสมเด็จพระเจ้าตากสินมหาราช ดำรงตำแหน่งพระยาตาก พระองค์ได้เสี่ยงทาย ณ วัดนี้ โดยกล่าวว่า “หากข้าพเจ้ามีบุญญาบารมีมากพอที่จะเป็นที่พึ่งของอาณาประชาราษฎร์ได้อย่างเที่ยงแท้ ขอให้ไม้เคาะระฆังที่ข้าพเจ้าจะขว้างไปยังถ้วยแก้วซึ่งตั้งอยู่ห่างประมาณ 5 วา ให้ถูกจำเพาะท่อนกลางที่คอดกิ่วของถ้วยแก้วแล้วแตกหักออกไป ขออย่าให้ส่วนอื่นของถ้วยแก้วแตกเสียหาย ฯลฯ ปรากฏว่า เมื่อพระองค์ขว้างไม้เคาะระฆังออกไปตามคำอธิฐานก็เป็นอย่างที่พระองค์ได้เสี่ยงอธิษฐานไว้ เป็นที่ประจักษ์แก่สายตาของบรรดาพุทธบริษัทที่มาร่วมบำเพ็ญกุศลที่วัดดอยข่อยเขาแก้ว จนเล่าลือกันว่า “พระยาตากเป็นผู้มีบุญญาธิการและบารมีที่มหัศจรรย์ยิ่ง” ภายหลังจากการเสี่ยงทายแล้วพระองค์ได้ให้ช่างนำลูกแก้วไปติดไว้ที่ยอดเจดีย์วัดดอยข่อยเขาแก้วลูกหนึ่ง ส่วนอีกลูกหนึ่งข้าราชการ พ่อค้า ประชาชน ได้ขออนุญาตนำไปติดไว้ที่ยอดเจดีย์ ณ วัดกลางสวนดอกไม้ หลายปีผ่านไปลูกแก้วที่ติดอยู่บนยอดเจดีย์ทั้งสองแห่งนั้นได้หลุดหายไปเนื่องจากยอดพระเจดีย์ได้หักพังลงมา และในพงศาวดารกล่าวว่า ต่อมาเมื่อสมเด็จพระเจ้ากรุงธนบุรีเสด็จไปยังเมืองเชียงใหม่ ครั้งที่ 2 ในพ.ศ. 2317 จึงได้ไปหาสมภารวัดดอยข่อยเขาแก้ว และตรัสถามถึงเรื่องลูกแก้วที่พระองค์ทรงเสี่ยงทายเมื่อครั้งยังเป็นพระยาตากอยู่ สมเด็จฯ กรมพระยาดำรงราชานุภาพ สันนิษฐานว่า สมเด็จพระเจ้ากรุงธนบุรี โปรดให้ปฏิสังขรณ์ใหม่หมดทั้งพระอาราม เมื่อคราวเสด็จกลับจากเชียงใหม่ในปี พ.ศ. 2317 โบราณสถานที่สำคัญประกอบด้วย โบสถ์มีใบเสมาคู่ที่แสดงว่าพระมหากษัตริย์ทรงอุปถัมภ์ เจดีย์และพระพุทธบาทจำลองอยู่ในโบสถ์ ด้านหน้ามีเจดีย์ 2 องค์ ที่บรรจุอังคารบิดา และมารดา ของสมเด็จพระเจ้าตากสินมหาราช ปัจจุบันวัดนี้ได้ขึ้นทะเบียนเป็นโบราณสถานประกาศในราชกิจจานุเบกษา เล่มที่ 52 ตอนที่ 75 วันที่ 8 มีนาคม 2478