กุฎิฤาษีประกอบด้วย ปรางค์ศิลาแลง ซึ่งบางตอนมีหินทรายประกอบกรอบประตูหินทราย ประตูด้านหน้าทำเป็นมุขยื่นออกมา ประตูอีก 3 ด้านเป็นประตูหลอก และบรรณาลัยหรืออาคารรูปสี่เหลี่ยมทำด้วยศิลาแลงซึ่งมีประตูสองชั้นไม่มีหน้าต่าง อยู่ภายในวงล้อมของกำแพงศิลาแลง ซึ่งมีส่วนประดับเป็นทับหลัง กำแพงทำด้วยหินรูปนาค รูปมกรคายนาค และกลีบบัวต่างๆ สันนิษฐานว่าสร้างขึ้นในราวพุทธศตวรรษที่ 16 17 แต่ทว่าส่วนประดับเหล่านี้ดูไม่สู้จะต่อเนื่องกับปรางค์และกำแพง จึงอาจเป็นการนำของเดิมมาประกอบอาคารที่ก่อสร้างใหม่ กุฎิแห่งนี้มีแผนผังคล้ายอโรคยศาลในพุทธศาสนามหายาน ซึ่งนิยมสร้างขึ้นในพุทธศตวรรษที่ 18 อย่างไรก็ตามหากชิ้นส่วนประดับสถาปัตยกรรมเหล่านี้เป็นของที่มีมาแต่เดิม ก็อาจสันนิษฐานว่าเคยมีศาสนสถานแห่งหนึ่งสร้างขึ้นในราวพุทธศตวรรษที่ 16 ต่อมาในพุทธศตวรรษที่ 18 จึงปรับแปลงใช้เป็นอโรคยศาลในพุทธศาสนา