ผู้คนที่มาอยู่อาศัยในช่วงเริ่มต้น ได้อพยพจากบริเวณชายทะเล บริเวณบ้านถนนกระเพรา ตำบลเนินฆ้อในปัจจุบัน หลังจากเดินทางหลบหนีภัยสงครามมาจากจันทบุรีโดยพากันหลบหนีออกมาหาที่อยู่ใหม่จากการเข้ามายึดครองจันทบุรีและตราดของฝรั่งเศสเรื่อยลงมาจนถึงชายทะเลบริเวณบ้านถนน