建武4年(1337年)正月八日北畠顕家が義良親王を奉じて陸奥国府を多賀城から霊山城へ移したのが始まりである。霊山には貞観元年(859年)に天台宗比叡山延暦寺の座主慈覚大師によって開山された霊山寺があり、霊山城はこの山岳寺院を利用したものである。
建武4年(1337年)八月北畠顕家は後醍醐天皇の要請に従い、義良親王を奉じて霊山を発ち、再び西上した。翌暦応元年(1338年)和泉国石津の合戦で北朝方の高師直らと戦って敗れ、北畠顕家は討死した。
顕家が討死した後、弟北畠顕信が陸奥介鎮守府将軍に任ぜられて下向するが、貞和3年(1347年)には霊山城も落城した。
、霊山城は阿武隈山地の最高峰となる霊山に築かれている。現在は国指定史跡および名勝として登山道などが整備されている。
霊山の最高峰は「東ノ物見」と呼ばれる標高825mであるが、霊山城の主郭部は「西ノ物見」のある標高806m一帯である。
「北ノ物見」から南に一段下がった所に本城とされる平場があり、霊山城の碑が建っている。ここから南へ少し下がると「国司館跡」の碑のある平場があり、現在は見えていないが礎石群があった。さらに下がると国司池がある。
南山腹にある「霊山こどもの村」の先に登山道入口があり、そこに大きな駐車場がある(地図)。登山道は良く整備されており、色々なルートが設定されている。