承安元年(1171年)小山田有重によって築かれた。 小山田氏は桓武平氏で、秩父重弘の次男有重が小山田荘に住んで小山田氏を名乗ったことに始まる。

有重の長男稲毛重成は同族の畠山重忠と争って、重忠を諌言した。この結果重忠は相模国二俣川で討死し、元久2年(1205年)この諌言が重成の虚言であったことが発覚して、重成も誅殺され小山田一族は離散した。

甲斐国都留郡の小山田氏は、この小山田重成の弟行重(一説に行平)の末裔といわれる。

大泉寺に小山田城址碑と小山田高家公顕彰碑が建てられている。

城は大泉寺の北側にある丘に築かれており、寺の西側から登れるように紐がぶら下げられているのだが、壇家以外は立入禁止の看板が掲げられており、立ち入ることができない。