康永元年・興国3年(1342年)北畠顕能によって築かれた。 北畠氏は村上源氏で京の北畠に居住した公家であったが、建部3年・延元元年(1336年)後醍醐天皇が吉野山に遷幸の時に北畠親房が南伊勢に下向し、玉丸城を拠点として勢力をのばした。
足利氏はこれに対して幾度となく玉丸城を攻撃し康永元年に落城、顕能は多気郡に逃れた。その後、南北朝の合体や後小松天皇譲位による南北決裂などもあったが、南朝方は次第に勢力を削がれ北畠氏も一守護大名となっていった。
永禄12年(1569年)織田信長が南伊勢に侵攻すると、北畠具教は大河内城に籠城し抵抗したが、やがて信長の次男信雄を北畠の養子として家督を譲ることで和解した。具教は三瀬館に潜み信雄に対抗しようとしたが天正4年(1576年)信雄の命によって暗殺された。
北畠氏館は現在の北畠神社の所に築かれていた。西背後には北畠氏館詰城と霧山城が控えている。
館跡といっても中世館跡として日本最古の石垣や礎石建物跡などの案内板がある程度であるが、見所はなんといっても庭園で、三大武将庭園、日本名園五十撰にも数えられており、国指定の名勝である。