岩山城は郷原町と黒瀬町との境付近にある標高419.5mの岩山山頂に築かれている。
南側から見ると特に山頂付近が切り立ち天然の要害であることがわかる。しかも「火の用心」の文字が印象に残る山である。
主郭は山頂にあって南北120m程の細長い地形が残る。太平洋戦争末期に高射砲が設置された関係で、本丸内に丸い穴と溝が南北に走っていて改変されている。
北端部には石積があり、虎口のように開口しているが、入ったその先は円形の地形で、高射砲設置の関係で削った穴のようである。
主郭から北西下につづら折りに降りていく道があり、馬蹄形の曲輪と帯曲輪などから段々と連なり、最下段には素堀の井戸跡と湧水跡のような地形が残る。
麓にある胡神社の由来を見ると、胡神社付近に居館があったようである。