文亀2年(1502年)中越豊前守吉高によって築かれたと云われる。中越氏は吉高の後、三河守吉長、甲斐守吉家と続く。
鷲ヶ森城は梼原川と大郷川の合流地点の南に聳える標高630m程の山に築かれている。
単郭の城であるが、南東端に一段小高いiがあり、西下に土塁囲みのii、北側に広いiiiがある。土塁には一部石積を伴っており、周囲には岩や石が散乱している。虎口はiiiの西に桝形があり、その南にもう一つの開口部cがある。開口部cも右折れの桝形であるが、南の堀切2から側面を迂回して入るルートで、そのまま直進してiに入るようになっており、後世の通路の可能性が高い。本来iへは東の土塁aを経て入っていたと思われる。
桝形の下はスロープとなり、北は帯曲輪状のc、南もまた帯曲輪状のivとなる。北のcは横堀であった可能性があり、北端は堀切1の手前で竪堀に屈折する。南のivは西に竪堀状の溝が続いているがその先は不明で、南の堀切は自然の谷へと落ちている。
西麓に案内板があり、そこから少し登った所にある民家の裏から登山道が延びており、これが南の尾根上に到達する。