築城年代は定かではない。
厳島合戦で陶晴賢が毛利元就に敗れると弘治2年(1556年)内藤隆世が姫山城に入城する。弘治3年(1557年)若山城が毛利によって落城すると内藤隆世は大内義長の高嶺城に移り、姫山城には大内家臣の宍道隆慶が入城した。毛利軍が右田岳城主右田氏を降し、氷上砦が陥落すると姫山城の宍道隆慶も毛利氏に降った。
姫山城は標高199.0mの姫山に築かれている。
姫山は全体的に尾根上以外は急峻な地形である。山頂部も比較的平坦であり小さな段が設けられているが、明瞭な城郭遺構は北と東尾根の分岐点にある曲輪群iが中心で、東下の曲輪群ii、北下の曲輪群iii、北端の曲輪群ivと点在する。
主郭と考えられるのは曲輪群iで山頂側に三段の曲輪があり、南東端には分厚い土塁1がある。土塁は外側に大きな石が並べられているが、堀切は存在しない。
主郭の東下に曲輪群iiがあり、主郭に近い三段ほどの削平地は普請が明瞭であるが、そこから東へ伸びた尾根は自然の緩斜面が続いており、その先に堀切など城域を区画するような遺構は見当たらない。
主郭から北下へ下ると三段の曲輪群iiiがあり、この曲輪は切岸が明瞭である。さらに北へ下ると途中に微妙な削平地が現れるが、明確な遺構は北端の曲輪群ivとなる。 曲輪群ivは南側に土塁と堀切があり、一部虎口のような開口があるが、後世の改変の可能性が高い。
登山道は東麓にあり、姫山の案内板と鳥居がある。ここから山腹にある神社まで参道があり、そこからさらに反射板を経由して山頂に続く山道がある。
北尾根側からは道はないが、水路に架かる橋を渡った所から取り付いて登ると曲輪ivに至る。
最寄り駅(直線距離)