詳細不明。城主は山名忠村・上野対馬守。また本丸城主の広戸広家とその子で広戸広義(岡本新三郎広義)とも伝える。

金剛寺山城は金剛寺の北背後にある標高386mの金剛寺山頂に築かれている。

金剛寺山城は山頂にある主郭を中心として南北に階段状に曲輪を並べている。北側は尾根部を堀切で遮断し、西側は特に竪堀となって溜め池近くまで落ちている。

北側の中腹には土塁を設けた腰曲輪があり、そこから南の曲輪に向かって帯曲輪状の通路が山腹を巡っている。この山腹には北側に竪堀、東側には七条程の畝状竪堀群が設けられている。東側中央付近には虎口のような開口部とつづら折りに続く山道が付いているが、畝状竪堀群を遮断して付いているので後世のものだろうか。主郭の南側にも階段状の曲輪が続き、こちらも南端付近に低土塁の付いた曲輪がある。

金剛寺から城山の西側を回って車道を上ると溜め池がある。登り口はこの溜め池沿いにある道を進むと一件の民家があり、その少し上から小川に架かる木橋を渡ると動物除けの柵があり、そこから山へ道がついている。