築城年代は定かではないが鎌倉時代に後藤氏によって築かれた。
対岸に位置する
三星城を居城としていた後藤氏が林野城を築城し一族の後藤良楢の弟良兼が在城していたという。
康安元年・正平16年(1361年)山名時氏によって
三星城とともに落城しその支配下に属した。
後藤氏はその後その時世に従って尼子氏、浦上氏に属していたが尼子氏が毛利氏によって滅ぼされ、また浦上氏も宇喜多氏によって滅ぼされるに至り独立するが天正7年(1579年)宇喜多氏によって攻められ後藤氏は亡びた。
その宇喜多氏も関ヶ原合戦後に改易となり小早川秀秋の支配するところになると稲葉通政が入城した。