城は城山の東側のみで頂部に本丸、その南側に二の丸、更に南に続く尾根の先端に三の丸を配している。
壬生神社から登ると三の丸と二の丸の間に出るが、ここは空堀を兼ねているようだ。
三の丸は尾根に沿って長方形に削平されている。
現在の多聞寺は、主郭の南側を囲むように配置された二の丸の西土塁の上に奉られている。
本丸には高峰神社が奉られている。
本丸、二の丸の北側は極めて急峻で、現在は城山の西側にある高峰公園から続く階段が設けられているが、それがなければ降りられないかもしれない。
城の東麓には城主山県氏の墓と菩提寺であった善福寺跡などが残る。