道有形民俗文化財に指定されている、旧回船問屋です。
横山家は明和6年（1769）から漁業、商業、回船業を営んでいましたが、明治25年に火事で焼け、旧建物を再現して現在の横山家を建築しました。
正面から入ると、土間庭と店舗部分があり、奥には土蔵が4つありますが、この土蔵は焼けておらず江戸時代からの貴重な文書等も、焼失を免れたそうです。
土蔵のさらに奥からは、昔は海に直接続いていて、接岸した船が荷積みを直接店から行えるようになっていました。現在は国道に面しています。
現在でも横山家には横山さん一家が住んでいて、中へ入ると横山家やニシンのお話などのガイドをしていただけます。にしんそばも食べられます（900円）。
