วัดชัยมงคลตั้งขึ้นในสมัยรัชกาลที่ ๔ พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว แห่งกรุงรัตนโกสินทร์ เดิมมีชื่อว่า วัดโคกเสม็ดเพราะตั้งอยู่บนเนินทรายที่มีต้นเสม็ดอยู่จำนวนมาก ต่อมาเปลี่ยนชื่อเป็น วัดชัยมงคล เล่ากันว่าสมัยท่านพระครูพรหมเวชวุฒิคุณ เป็นเจ้าอาวาส แรกเริ่มการสร้างวัดนี้ ได้มีพระภิกษุ ๒ รูป คือ พระอาจารย์ชัย, พระอาจารย์เพชร ทั้ง ๒ รูป เป็นชาวกลันตัน ท่านเป็นนักปฏิบัติกรรมฐาน ได้เดินทางจารึกแสวงบุญมาพักปักกลดบำเพ็ญสมณธรรมอยู่นอกกำแพงเมืองสงขลาด้าน ทิศตะวันออก สมัยนั้นบริเวณแถบนี้เป็น ป่าไม้ไม่มีบ้านคนอยู่อาศัย ท่านทั้งสองจึงได้ชักชวนประชาชนผู้มีความศรัทธาเลื่อมใส จัดสร้างวัดขึ้น สองวัด อยู่ใกล้ๆ กัน แบ่งกันปกครองรูปละวัด วัดที่พระอาจารย์ชัยปกครอง มีนามว่า “วัดโคกเสม็ด” (วัดชัยมงคล) เรียกชื่อวัดตามสัญลักษณ์ของภูมิประเทศ เพราะตั้งอยู่บนเนินทรายที่มีป่าไม้เสม็ดขึ้นหนาแน่น ส่วนวัดที่พระอาจารย์เพชรปกครอง มีนามว่า “วัดโคกขี้หนอน” (วัดเพชรมงคล) เพราะตั้งอยู่บนเนินทรายที่ป่าไม้มีหนอนขึ้นหนาแน่น วัดชัยมงคลนี้เป็นได้รับการสถาปนาขึ้นเป็นพระอารามหลวงในสมัยที่พระมหาแฉล้ม เขมปญโญ เป็นเจ้าอาวาส ในปี ๒๕๑๘ และในสมัยพระอาจารย์ศรีเป็นเจ้าอาวาสท่านแตกฉานในภาษาบาลีและได้เดินทางไปประเทศศรีลังกาเพื่อแสวงหาพระบรมสารีริกธาตุและได้ พระบรมสารีริกธาตุ สมปรารถนา จากเศรษฐีชาวลังกา ซึ่งเป็นของประจำสกุลมาหลายชั่วอายุ และได้มาจากพระสถูปเจดีย์เมื่อครั้งทำการปฏิสังขรณ์ พระสถูปใหม่ พระอาจารย์นะ ติสสฺโร เมื่อได้พระบรมสารีริกธาตุ สมปรารถนาแล้วก็ได้อัญเชิญกลับมาเมืองไทยพร้อมกับนำหน่อพระศรีมหาโพธิ์มา ๓ ต้น กลับถึงเมืองไทยที่จังหวัดสงขลา พ.ศ. ๒๔๓๖ ได้ชักชวนอุบาสกอุบาสิกา จัดสร้างพระสถูปเจดีย์สำหรับบรรจุพระบรมสารีริกธาตุจนสำเร็จเรียบร้อย