林家は享保5年（1720年）から明治維新まで、起宿脇本陣と木曽川の渡船を管理する船庄屋を務めていました。この建物は、明治24年（1891年）の濃尾地震で倒壊した起宿脇本陣の跡地に再建されたものです。大正2年（1913年）に主屋が建てられた後、昭和初年にかけて、江戸時代の屋敷構えを意識した裏座敷が増築されました。
平成14年（2002年）に国土の歴史的景観に寄与しているものとして、国登録有形文化財（建造物）に登録されました。平成30年度より耐震補強整備工事を実施し、裏座敷へと続く渡り廊下の赤い土壁など、建築当時の姿に戻しました。現在では、資料館別館として1階の公開と一部施設の貸し出しをしています。