詳細不明。城主は小林又三郎と伝えられる。
『備前軍記』では小林又三郎は備中兵乱のとき三村元親に従って松山城に籠城していたが、毛利方に内通して天神丸を乗っ取りの手助けをした人物として登場する。
小林山城は標高180mほどの山に築かれており、古くは木野山神社の境内となっていた。
主郭は中央北側の一段小高い部分で東西にやや長い長方形である。東から南下にかけて曲輪II、西下に曲輪IIIがある。曲輪IIは北から東にかけて土塁がある。虎口は明確ではなく、南中央に神社の参道階段があり、現在の道はここにつながっているが、北尾根にも山道がある。
曲輪IIIから北へ伸びる尾根に堀切1、曲輪IIから東へ伸びる尾根に堀切2を設けて遮断している。
能仁寺跡を目指して谷を少し登って行くとため池を埋めたような広場があり、そこが駐車場で案内板も設置されている。
最寄り駅(直線距離)