พระธาตุบังพวนเป็นเจดีย์เก่าแก่บรรจุพระบรมสารีริกธาตุ เป็นที่เคารพสักการะของชาวหนองคายมาช้านาน ตัวองค์พระธาตุเดิมสร้างด้วยอิฐเผา ลักษณะสถาปัตยกรรมแบบท้องถิ่น เป็นสถูปแบบอินเดียรุ่นเดียวกับองค์พระปฐมเจดีย์ ต่อมาได้พังทลายลงเมื่อเดือนมิถุนายน พ.ศ. 2513 เนื่องจากฐานทรุด เจดีย์องค์ปัจจุบันได้รับการบูรณะขึ้นใหม่โดยกรมศิลปากร ชาวหนองคายจัดงานนมัสการพระธาตุในวันขึ้น 11 ค่ำ เดือนยี่ ของทุกปี ภายในบริเวณวัดมีโบราณสถานอื่น ๆ ที่น่าสนใจอีกหลายแห่ง ได้แก่ สัตตมหาสถาน หรือ สถานที่สำคัญ 7 แห่งในพุทธประวัติ หลังจากที่สมเด็จพระสัมมาสัมพุทธเจ้าได้ทรงตรัสรู้แล้วและได้เสด็จประทับเสวยวิมุติสุขแห่งละ 7 วัน และสระปัพพฬนาค หรือสระพญานาค ซึ่งในสมัยโบราณเมื่อมีการแต่งตั้งเจ้าเมือง ก็จะนำน้ำจากสระนี้ไปสรงเพื่อเป็นสิริมงคล