ตัววัดตั้งอยู่บนเนินเขาเตี้ย ๆ เคยมีการขุดพบลูกปัดสีต่างๆ และกลองมโหระทึกขนาดต่างๆ มีลักษณะคล้ายกับที่พบในเขตอำเภอเกาะสมุย จังหวัดสุราษฎร์ธานี เป็นกลองมโหระทึกที่มีอายุอยู่ประมาณ ๑,๗๐๐ ๒,๐๐๐ ปี อาจสันนิษฐานได้ว่า บริเวณเนินเขาที่ตั้งวัดสามแก้ว อาจเป็นที่ตั้งของเมืองโบราณที่มีอายุเก่าแก่มากเมืองหนึ่ง วัดสามแก้ว สร้างเมื่อประมาณปี พ.ศ.๒๔๖๘ หลังคาอุโบสถมีลักษณะแตกต่างจากอุโบสถของวัดทั่วไป คือหลังคาไม่มีช่อฟ้าใบระกา ตัวอุโบสถจึงมีลักษณะคล้ายกล่องสี่เหลี่ยมลายไทย ภายในมีภาพจิตรกรรมฝาผนังของช่างเขียนมีชื่อในรัชสมัยพระบาทสมเด็จพระปกเกล้าเจ้อยู่หัว คือ พระยาอนุศาสตร์จิตรกร (จันทร์ จิตรกร) ได้เขียนภาพภายในอุโบสถ เพื่ออุทิศถวายพระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว ภาพเขียนแบ่งเป็นสามตอน ตอนบนสุดเป็นภาพเทพนม ทั้งเทพบุตรและเทพธิดา ตอนกลางเป็นภาพเทพเจ้าในศาสนาพราหมณ์ ได้แก่ท้าวจัตุโลกบาล เทวดานพเคราะห์ คณะเทพและพระโพธิสัตว์ ตอนล่างสุดตามช่องผนังระหว่างเสา และบานประตูหน้าต่าง เป็นภาพพุทธประวัติ ผนังด้านหน้าเป็นภาพแม่ธรณีบีบมวยผมขนาดใหญ่ ฝีมืองดงามมาก