文和3年・正平9年(1354年)頃に葦名氏によって築かれたとも云われるが定かではない。

葦名氏の居城黒川城の詰城として永禄11年(1568年)向羽黒城が築かれるまで、機能したものと考えられている。永徳3年(1383年)葦名直盛は家臣平田明範・富田祺祐に小田山城の修築を命じている。

城は黒川城の南東にある小田山山頂に築かれている。小田山城の遺構は小田山山頂から奴田山へ至る広範囲に堀切や平場が散見されるという。

丹羽家の墓、田中玄宰の墓などが建ちあまり城跡の雰囲気は残っていない。そこから更に登ると物見台に至り、その先に堀切が残る。