築城年代は定かではない。永禄元年(1558年)には星賀光重の居城であり、天神山城主の浦上宗景に従っていた。
天正5年(1577年)宇喜多直家によって天神山城の浦上宗景が追放されると、星賀氏は三星城の後藤氏とら結んで宇喜多氏に対抗した。しかし、天正7年(1579年)宇喜多直家の武将延原景光らの軍勢が周匝茶臼山城などを攻略すると、この鷲山城も攻めら、城主の星賀光重は討死し落城した。
鷲山城は標高218.1mの鷲山山頂に築かれている。
主郭は山頂にあり、そこから北東と南西に伸びた尾根に段々と曲輪を配している。尾根の北東端に一条堀切があり、そこからしばらくは自然地形に近い尾根が続く。主郭付近は段々に造成されているが切岸は低い。主郭から南西側にも段々と曲輪が続き、その先端に一段小高い土壇が残っている。「日本城郭大系」に掲載されている縄張図では主郭の北東下に堀切を描いているが、歩いた感じでは堀切らしきものは見あたらなかった。
東麓の飯岡の集落から月の輪古墳へ続く車道があり、それが鷲山の北東尾根を登っている。この北東尾根から山道が山頂までついている(地図)。登り口付近の車道がやや広いので車を駐める事は可能だが麓に置いてきた方が良い。