ถึงแม้จะเป็นปราสาทหินที่มีขนาดไม่ใหญ่เท่ากับปราสาทหินพิมายหรืออีกหลายแห่งที่พบทางอีสานตอนใต้แต่ก็นับเป็นปราสาทเขมรที่สมบูรณ์มากแห่งหนึ่ง ปราสาทเปือยน้อย หรือ ที่ชาวบ้านเรียกว่า พระธาตุกู่ทอง สร้างขึ้นในราวพุทธศตวรรษที่ 16 17 เป็นศิลปะผสมระหว่างศิลปะเขมรแบบบาปวนและแบบนครวัด สร้างขึ้นเพื่อใช้เป็นเทวสถานในศาสนาฮินดู แผนผังการก่อสร้างมีความหมายเป็นเขาพระสุเมรุซึ่งถือเป็นแกนจักรวาลอันเป็นที่สถิตย์ของเทพเจ้าที่เรียกว่า “ศาสนบรรพต” สิ่งก่อสร้างภายในบริเวณปราสาทเป็นไปตามแบบแผนของศาสนสถานขอมโบราณ หน้าบันขององค์ปรางค์ประธานสลักเป็นพระยานาคราชมีลวดลายสวยงามมาก ทับหลังสลักเป็นรูปนารายณ์บรรทมสินธุ์ที่นับว่ายังอยู่ในสภาพที่สมบูรณ์ "โคปุระ" (ซุ้มประตู) อยู่ทางทิศตะวันออก และทิศตะวันตก ด้านข้างโคปุระเจาะเป็นช่องหน้าต่างกำแพงแก้ว มีฐานเป็นบัวคว่ำบัวหงาย มีการสลักศิลาแลงเป็นร่องแบบลาดบัว