岩屋城を攻めた赤松氏の本陣と伝えられる。
永正17年(1520年)赤松氏に背いた浦上村宗が岩屋城を攻略し、中村則久を入れて守らせた。赤松氏は小寺範職や大河原治久を将として岩屋城の奪還を試みたが、このとき赤松方の本陣が置かれたのが姿山城と云われる。
浦上村宗は援軍に駆けつけると隣の茶臼山城に本陣を構えて小寺勢力を撃ち破り赤松氏を撃退したという。
姿山城は中国自動車道に隣接する比高30mほどの丘陵に築かれている。
東西２つの峰があり、西峰に南北2ヶ所、東峰の南端に1ヶ所の曲輪があり、いずれも土塁のみで堀はなく、縄張から陣城のようである。
東峰南端の曲輪の土塁は盛土よりは内側を削って外側を残した形の部分が多く、曲輪の範囲は不明確で東側は一段下がって削平されている。
西峰南の曲輪は最も広く中心的な曲輪で、南、西、北の三方に土塁が残る。
西峰北の曲輪は中国自動車道路によって大半が消滅しており、南端の土塁がわずかに残っているだけであるが、遺構ははっきりしている。