มีตำนานเล่าว่า พระเจ้าศรีธรรมโศกราช เสด็จยกทัพมาพักรี้พลอยู่ในเขตอำเภอสวี พบเหตุการณ์ประหลาด คือ มีกาเผือกและกาอื่น ๆ จับกลุ่มส่งเสียงร้องเหนือกองอิฐปรักหักพัง จึงรับสั่งให้รื้อกองอิฐที่ทับถมกันออก พบฐานเจดีย์ใหญ่ เมื่อขุดลึกลงไปพบผอบบรรจุพระบรมสารีริกธาตุ จึงโปรดให้สร้างเจดีย์ขึ้นใหม่ สันนิษฐานว่าสร้างในสมัยอยุธยา จนกระทั่งปี พ.ศ.2459 ได้มีการบูรณะครั้งใหญ่ โดยการสร้างพระธาตุครอบเจดีย์องค์เดิม ส่วนด้านหน้าพระธาตุซึ่งติดกับแม่น้ำสวี มีศาลเจ้าภายในมีรูปคนนั่งขนาดเท่าคนจริง ชาวบ้านเรียกว่า ศาลพระเสื้อเมือง