築城年代は定かではないが南北朝時代に北田次郎広盛によって築かれたと云われる。

北田氏はその後北田城へ戻り、かわって藤倉館より藤倉盛弘が地頭として移封され、 建長4年(1252年)には狐戻城を築いて移ったとされる。また盛弘の子盛仁の時に金上氏を名乗ったとされる。

館は方形居館で周囲に土塁と濠が巡り、南に虎口を開いて土橋を架けていたとされる。現在でも住宅として使用されており周囲の土塁は南側は残っており、堀は水路となって残っているようである。