築城年代は定かではないが応保年間(1161年〜1163年)に渡辺長寛によって築かれたのが始まりといわれる。

南北朝時代には赤松氏に属していた後藤氏の本拠であったが南朝方の山名氏が美作に侵攻しこの城も落城している。

後藤氏は赤松氏、山名氏、浦上氏そして尼子氏と時の勢力に属していたが尼子氏が毛利氏に滅ぼされると美作東部における支配権を確立した。< しかし、天正5年(1577年)に浦上氏が宇喜多氏に滅ぼされると天正7年(1579年)宇喜多氏によって攻められ落城し後藤氏は滅亡した。

鳥居から登り始めて右に行くと後藤氏の屋敷跡があり、その脇から続く道を登って行くと尾根伝いに伸びる土塁がみえる。 三星城は3つの峰が連なることからそう呼ばれているが中央の主峰の近くまで重機で切り開いた道が続く。

井戸を経て東の峰へ登ると頂部は櫓台のように一段高くなかっている。 中央の峰は三角点があるが曲輪はかなり狭い。 西の峰はやや広いが全体的に曲輪が狭い。

川を挟んだ南東側には林野城がある。