築城年代は定かではない。
戦国時代には河野家十八家の一人中川親武が城主であった。 「円久寺の由緒」によれば親武は天正5年(1577年)に五十四歳で病没とあるが、日本城郭全集によれば天正10年(1582年)羽柴秀吉に通じた来島城主来島通総が霊仙山城を攻め親武を殺したとある。 親武の後は弟通任が継ぎ、天正13年(1585年)豊臣秀吉による四国征伐で霊仙山城を退去し廃城となったという。
城は標高155.9mの霊仙山山頂に築かれている。
本丸は山頂にあって南北に長く、南北両端に土塁が残る。石積も残っているらしいのだが、見付からなかった。本丸の北にある狭い曲輪が二の丸でそこから西へ伸びた尾根にあるのが三の丸だという。二の丸は狭いが三の丸は本丸と同等の広さがある。
本丸の南には堀切が二条あり、南の尾根にも削平地が残る。二の丸から北の尾根にも堀切と削平地が残る。
登山道はいくつかあるようです。北西麓にある円久寺の東にある墓地へ通じる道を奥まで行くと登山口がある。円久寺は中川親武よって建立されたお寺で、そこに山城堂(山城守親武の名に由来)が建つ。
最寄り駅(直線距離)