築城年代は定かではないが仁治年間(1240年〜1243年)に秋庭重光によって築かれたと云われる。 秋庭重光は備中国松山城主秋庭重信の弟という。

城はやがみ駅の西側にある山の標高587mの山頂に築かれている。 北西側から見ると山頂付近が平で城山の雰囲気が見て取れる。

山頂部はおおむね平で北東部がやや高く、南西方向がやや低くなっている。東南の端がやや低く通路のように南西端を通っている。 北東隅部には土塁があり、その下に一段小郭があり、ここから降りた道は西側面を回って南側に通じている。南西側には一段削平地があり、その下に腰曲輪が数段残る。

城山の南麓にある金比羅神社の参道の脇から山道が通じている。金比羅神社の本殿に登る石段の途中に西側へ入る道があり、それを西へ進んで行く。途中下へ降りる道との分かれをそのまま進んで行くとちょうど尾根先の部分で右へ入って行く道がある。これを進んで行けば城址へたどり着く。この道はミニ八十八箇所巡りとなっており、所々お地蔵さんが置かれている。

国土地理院の地図では北側から林道らしきものが山頂付近まで付いているが、この道は途中で消滅している...。