詳細不明。大峰神社とその別当寺である霊山寺の勢力による可能性が考えられている。
大峰山城は大峰神社、霊山寺の西背後に聳える標高148.1mの山に築かれている。
主郭は山頂で大峰神社の奥の院が建てられている。曲輪の削平は甘いが、周囲の切岸は高く明瞭である。この切岸の下部の緩斜面地形に所々竪堀があり、特に北尾根は堀切と連続した竪堀となっている。
この山頂の主郭とは別に南にも堀らしい遺構が残されているようであるが未確認である。
大峰神社から山頂の奥の院まで道があったが、現在は荒れており、北東の山腹からは道がなくなっている。