築城年代は定かではないが金丸氏によって築かれた。金丸氏は甲斐武田氏十四代武田信重の子光重を祖とする。
金丸光重には子がなかったことから一色藤直の子藤次を養子に迎え金丸伊賀守となる。その後、金丸若狭守虎嗣、金丸筑前守虎義と続く。義虎の五男昌忠が武田勝頼の逃亡に殉じた土屋昌忠で、その子は徳川家康に仕えて土屋忠直と称し、江戸時代には上総国久留里藩二万石の大名となっている。この分家の家系が常陸国土浦藩土屋家で明治まで続いた。
金丸氏館は現在の長盛寺境内一帯であった。境内の北から西に掛けて土塁があり、西は若干外側に堀跡らしき窪地があるが、あまり明瞭ではない。