築城年代は定かではないが建武年間(1334年〜1338年)に小山田彦五郎景範によって築かれたと云われる。 小山田氏(こやまだ)は比志島城主比志島孫太郎忠範の二男景範が小山田城を居城として小山田城を名乗ったことに始まるという。

応永21年(1414年)伊集院城主伊集院弾正少輔頼久が小山田城を攻めたが、城主小山田伊賀守範清は一族の出羽守義村・淡路守貞清らと戦ってこれを撃退した。

小山田城は川田川と甲突く川との合流点の西側にある丘陵に築かれていた。 運動公園のある山の東の尾根先から北にある国道3号線を越えて諏訪神社辺りまでが城域と見られているが、現在は宅地や土取などによって遺構の状態は良くない。

山頂から東側は土取によって消滅しており、北東へ向かって伸びる尾根に階段状の削平地が残っている。西側の林道に面して空堀と見られるシラス台地特有の垂直に削り落とした遺構が残っている。

国道3号線から諏訪神社に向かう側道の脇に「小山田城」と書かれた看板があるが、これは近くのホテルの名である。