เป็นปราสาทหินศิลาแลง หันหน้าไปทางทิศตะวันออก สำหรับผังของปราสาทนั้น เป็นรูปกากบาท มีส่วนฐานต่ำ ส่วนล่างสุดก่อด้วยศิลาแลง ส่วนบนก่อด้วยศิลาทรายทั้งหมด หลังคาห้องครรภคฤหะ ก่อเป็นทรงพุ่มยอดปรางค์ ซ้อนลดหลั่นกันขึ้นไป 5 ชั้น ส่วนหลังคามุขก่อเป็นรูปประทุน จรดหน้าบันทั้ง 4 ด้าน ภายในห้องมีประติมากรรม ลักษณะคล้ายสวายยัมภูวลึงค์ 1 ชิ้น ปราสาทตาควาย ยังเป็นปราสาทหลังเดียวโดด ๆ ไม่มีอาคารประกอบอื่น ๆ ทำให้เชื่อว่า ปราสาทตาควาย เป็นปราสาทที่ยังสร้างไม่เสร็จสมบูรณ์ดังเช่นปราสาทอื่น ๆ เพียงแต่ทำการก่อขึ้นรูปไว้เท่านั้นยังมิได้มีการขัดแต่งผิวหิน หรือ แกะสลักลวดลายใด ๆ จึงทำให้ปราสาทตาควายยังคงรูปอยู่ได้ โดยไม่ถูกทำลายหรือถูกลักลอบกะเทาะชิ้นส่วนต่าง ๆ ไป เช่นที่เกิดขึ้นกับปราสาทอื่น ๆ ตามแนวชายแดน