築城年代は定かではないが文治5年(1189年)頃に多田仁綱によって築かれたと云われる。

文治5年(1189年)大江広元は源頼朝より出羽国寒河江荘を与えらると、正室の父である多田仁綱を目代として寒河江に下向させた。仁綱は後に吉川館へ移り、承久の乱で朝廷方について敗走した大江広元の長子大江親広を保護した。

二重の堀を巡らせた方形居館である。現在は市街地に没しているが、土井の内と称する地に北西隅部の土塁が残っており、そこに石碑が建っている。