築城年代は定かではないが治承年間(1177年〜1181年)に手塚太郎光盛によって築かれたと云われる。 手塚光盛は金刺光盛ともいい源義仲の挙兵に従った。寿永2年(1183年)加賀の篠原の戦いでは、敗走する平家軍の中でただ一人踏みとどまって奮戦する斎藤実盛と壮絶な一騎打ちを行い、その首を討ち取ったことが「平家物語」に記されている。
その後も諏訪大社下社神官の金刺氏が代々居城となった。文明年間(1469年〜1487年)頃になると諏訪氏は惣領家と大祝家による内訌が激化する。文明15年(1483年)諏訪大祝継満は、諏訪惣領家の満政と嫡子宮若丸等を上社の神殿に招き、饗応中に不意をついて謀殺し、祭政二権を得ようと画策した。これに呼応するように下社の金刺興春が挙兵し、高島城(茶臼山城)を占領し、桑原・武津に放火して上社を攻めた。しかし 上社方の矢崎・千野・小坂・福島らと宮の腰で戦い金刺興春は討たれ、下社の社殿を焼かれるなど大敗を喫した。
その後は興春の子盛昌、昌春と続くが、永正15年(1518年)諏訪頼満によって萩倉の要害は落城し、金刺昌春は武田信虎を頼って甲斐へ落ちた。
霞ヶ城は諏訪大社下社秋宮の南側に位置する山王台に築かれていた。 現在ホテル山王閣のある地で、明確な遺構はないが手塚光盛の像と案内板が設置されている。