江差で回船問屋を営んでいた関川家の別荘です。初代の与左衛門は越後の人で天和年間（1681～84）に松前に移り、その後江差の姥神町に定住し、関川家の暖簾で造り酒屋を営みました。2代目からは回船問屋も営み、他に米問屋・海産・金融・薬・味噌醸造・紙漉から農地開拓まで幅広く手がけて、財を成しました。
また、８代目の平四郎は幕末の藩政の非常時に金や穀物などを献じて士族に召しだされ、勘定奉行を命じられました。その後、館城新築に普請奉行も務め、明治になってからは開拓にも尽くしたそうです。
ここには、江差の最盛期の頃の様子を伝える古文書や調度品などの貴重な品々が展示・保存されています。また、別棟の茶室からは美しい日本庭園が望め、混雑していなければここでガイドさんの淹れてくれるお茶もいただくことができるかも。
