建久3年(1192年)藤倉三郎左衛門盛義によって築かれたと云われる。 盛義は佐原義連の子盛連の三男で義連の孫とされる。
藤倉氏は建長4年(1252年)藤倉盛弘の時、金上館へ移封され以後金上氏を名乗ったとされるが、これも定かではない。
館のある藤倉は「和名類聚抄」に記載しされた椋椅郷の中心に比定される要衝地で、館の東には源義経ゆかりの皆鶴姫の碑と墓がある。
館は方形居館で周囲に土塁と濠が巡り南に虎口が開く。東側には遠州流の庭園があり、鬼門である北東隅には康元元年(1256年)に黒川より勧請した稲荷神社があるという。