มัสยิดกลางหลังเก่านี้ มีชื่อว่า มัสยิดยุมอียะห์ หรือมัสยิดรายอ ตั้งอยู่ทางเหนือของตัวเมืองห่างจากศาลากลางจังหวัดขึ้นไปตามถนนพิชิตบำรุงก่อนถึงหอนาฬิกาเล็กน้อย เป็นมัสยิดไม้แบบสุมาตราสร้างขึ้นตั้งแต่ปี พ.ศ. 2481 เป็นมัสยิดเก่าแก่คู่บ้านคู่เมืองนราธิวาส และเป็นที่ตั้งของสุสานเจ้าเมืองเก่า คือ พระยาภูผาภักดี ตามปกติมัสยิดกลางประจำจังหวัดจะมีเพียงแห่งเดียวเท่านั้น แต่เนื่องจากมัสยิดแห่งนี้ค่อนข้างคับแคบ จึงได้มีการสร้างมัสยิดหลังใหม่ขึ้นบริเวณปากแม่น้ำบางนรา อย่างไรก็ตามประชาชนในพื้นที่ยังคงเลื่อมใสศรัทธาในมัสยิดหลังเก่าอยู่ มัสยิดแห่งนี้จึงดำรงฐานะเป็นมัสยิดกลางสืบต่อไป และทำให้นราธิวาสมีมัสยิดกลางประจำจังหวัดด้วยกันถึง 2 แห่งด้วยกัน