築城年代は定かではない。
永禄6年(1563年)岩櫃城の斎藤越前守憲広は武田の武将真田幸隆によって攻略された。斎藤越前守は越後の上杉謙信を頼って逃れたが、このとき末子の城虎丸を嵩山城に残し置いて守らせた。
永禄8年(1565年)真田幸隆は嵩山城の支城である仙蔵城を攻め落とし、ここを拠点に嵩山城を攻めた。真田氏は斎藤方の池田佐渡守父子を味方に付けて城を退出させ、嵩山城に攻め上がった。これにより城虎丸は大天狗の岩から飛び降り、斎藤氏は滅亡した。
嵩山城は道の駅『霊山たけやま』の北方に聳える標高789.2mの嵩山に築かれていた。
嵩山は古くからの山岳信仰の山であったらしく全体的にゴツゴツとした険しい岩山である。北の山頂を大天狗、南端に小天狗、中峰は中天狗と呼ばれ、城跡とされる平坦地は大天狗と中天狗の間にある鞍部にあり「実城の平」と呼ばれている。
道の駅『霊山たけやま』に登山道入口があり案内板などが整備されている。
最寄り駅(直線距離)