築城年代は定かではないが鎌倉時代に後藤氏によって築かれた。 対岸に位置する三星城を居城としていた後藤氏が林野城を築城し一族の後藤良楢の弟良兼が在城していたという。
康安元年・正平16年(1361年)山名時氏によって三星城とともに落城しその支配下に属した。
後藤氏はその後その時世に従って尼子氏、浦上氏に属していたが尼子氏が毛利氏によって滅ぼされ、また浦上氏も宇喜多氏によって滅ぼされるに至り独立するが天正7年(1579年)宇喜多氏によって攻められ後藤氏は亡びた。
その宇喜多氏も関ヶ原合戦後に改易となり小早川秀秋の支配するところになると稲葉通政が入城した。

国道179号線から安養寺に向かうと左手にハローワークがある。 その奥に登山口があり案内板もそこにある。最寄り駅(直線距離)
1.0km 林野駅
3.9km 楢原駅
4.5km 勝間田駅
6.4km 美作江見駅
7.0km 西勝間田駅

付近の城(直線距離)
0.9km 美作 三星城
1.3km 美作 海内代官所
1.6km 美作 鬢櫛山城
1.6km 美作 三倉田城
2.6km 美作 矢櫃山城
2.6km 美作 友野城
2.9km 美作 小矢田城
3.3km 美作 尼ヶ城
3.6km 美作 大谷城(美作市)
3.7km 美作 妙見山城(美作市)
3.8km 美作 東吉田城
3.9km 美作 比丘尼城(楢原中)
4.1km 美作 大乢城
4.2km 美作 岡城
4.4km 美作 鞍掛城
4.4km 美作 勝間城
4.5km 美作 比丘ヶ城
4.7km 美作 鷹ノ巣城
4.7km 美作 緑青山城
5.0km 美作 大畠城
5.6km 美作 舞山城
5.6km 美作 大将ヶ陣山城
5.6km 美作 井の内城
5.7km 美作 久保木城

2006年11月