築城年代は定かではないが鎌倉時代に青方氏によって築かれたと云われる。 青方氏は藤原家高が初代で、建長元年(1249年)に青方に移り青方氏を称した事に始まるという。

殿山城は白野山から東へ伸びた尾根の一つに築かれている。

観音岳に向かう道路より東側に三つの峰があり、城は東の二ツの峰を城域としている。 北峰に北曲輪、南峰に南曲輪があり、その間の一段低い鞍部も曲輪となる。

南曲輪には石祠が祀られ、同心円状に一段低い段があり、周囲には小さな石の石積がある。東側には竪堀のような溝がありその脇に石塁が付随する。

北曲輪は東西に長く中央がやや高い。曲輪の西と北に横堀があるが、北側は山道のような雰囲気もあり堀かどうか不明である。西はやや下ったところにも浅い横堀状の溝がある。

北曲輪と南曲輪を結ぶ一段低い鞍部は東西両側に石積があり、東は特に良く残っているが、これが城の遺構かどうかは不明である。

北西の峰は自然地形であるが、その周囲は畑として開墾された名残がある。

案内板は観音岳公園に向かう北東の鞍部に設置されている。 石祠まで参道があるが、南東下の道路から畑脇の道を登った先にあり、知らないとこの道を見つけるのは難しい。案内板のある鞍部から山に入るほうがわからやすいだろう。