築城年代は定かではない。 宝徳2(1450年)にはすでに築かれており城主として穴山伊豆守が「甲斐国志」に記されている。

大永3年(1523年)穴山伊予守信永は鳥坂峠から侵攻してきた南部下野守と花鳥山で戦って敗れ、小山城に籠もったが落城し、信永は常楽寺で自刃して果てた。

天正10年(1582年)武田氏が滅亡して織田信長が本能寺の変で倒れた後は、旧武田領を巡って北条氏と徳川氏によって争われた。このとき、御坂城に籠もった北条氏に対抗するため、徳川氏の家臣鳥居元忠がこの小山城に入り城を改修している。鳥居氏は北条氏との戦いで大いに戦功を挙げ、後に郡内に所領を得て谷村城に入った。

小山城は南の山塊から緩やかに降った段丘の北端に築かれている。

台地の北端部分に築かれているが、方形単郭の城で周囲に高土塁と空堀が巡っている。 土塁上は北西隅と南東隅部が櫓台となって張り出し、南西隅もやや張り出している。