พระตำหนักนี้ตั้งอยู่ในบริเวณสวนผลไม้เก่าแก่ของตระกูลทองสมัครซึ่งเป็นผู้สร้างเรือนรับรองถวายในนามของชาวเมืองนครศรีธรรมราช เพื่อเป็นที่ประทับของพระบาทสมเด็จพระเจ้าอยู่หัว และสมเด็จพระเทพรัตนราชสุดาฯ สยามบรมราชกุมารี ในคราวที่เสด็จมาทรงงานที่เมืองนครศรีธรรมราช บริเวณโดยรอบแวดล้อมร่มรื่นด้วยไม้ผลและไม้ประดับ