บ้านหลังนี้เคยเป็นบ้านของเจ้าพระยายมราช (ปั้น สุขุม) อดีตผู้สำเร็จราชการแทนพระองค์ในพระบาทสมเด็จพระเจ้าอยู่หัวอานันทมหิดล รัชกาลที่ 8 และเป็นอดีตเสนาบดี 3 กระทรวงคือ กระทรวงมหาดไทย กระทรวงนครบาลและกระทรวงโยธาธิการ ลักษณะบ้านเป็นเรือนหมู่ สภาพปัจจุบันเหลือตัวเรือนเดิม เรือนนอน 2 หลัง หอกลาง 1 หลัง หอนั่งสร้างใหม่แทนของเดิม 1 หลัง พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว เคยเสด็จบ้านหลังนี้ 2 ครั้ง และได้พระราชทานชื่อบ้านไว้ ต่อมาจังหวัดฯ ได้จัดทำโครงการอนุรักษ์บ้านยะมะรัชโช โดยส่งเข้าประกวดโครงการดีเด่นในการอนุรักษ์สถาปัตยกรรมในเมือง ได้รับรางวัลพร้อมโล่และใบประกาศเกียรติคุณ ปัจจุบันนี้บ้านยะมะรัชโชเป็นของกองทุนมูลนิธิพระยาสุนทรสงคราม (ปุย สุวรรณศร)