築城年代は定かではない。相良氏が球磨郡に入封する以前は平河氏の城であったという。
相良氏入封後、男相良頼明が山田城主となって永留氏を称し永留氏の祖となった。頼明は相良氏二代頼親の嫡男であるが、頼親が弟頼俊に家督を譲って隠棲したことから、山田領の地頭となった。
永留氏は頼明以後、頼常、頼積、長滋、頼均、頼道、頼連、実重、長続と九代続き、九代長続は宗家相良氏の家督を継いで11代当主となった。
人吉市史によれば、永留氏はこの山田ではなく薩摩国大口を地盤としていたという。
山田城は山江村役場、山田大王神社の北西背後に聳える標高230m程の山に築かれている。九州自動車道が南東尾根先を貫通しているが、主郭部は完存している。
山田城は大きな空堀によって区画した三つの曲輪から成る。北尾根には浅い堀状の溝があるが、ハッキリとした遺構は北から南へ二重堀切、主郭、堀切、曲輪、堀切、曲輪と続き南端は自動車道によって消滅している。主郭から東へ伸びた細尾根にも浅い堀切が残っている。
曲輪は何れも削平が甘く低い段があり北背後の堀切に面して土塁を設けている。山の周囲は切り立った岩場が多く、登坂ルートは限られる。
麓の山田大王神社は相良氏入封以前の平河氏を祀った神社、高寺院は矢瀬氏による創建という。
山田山王神社から山へ入ってく車道沿いに案内板が出ている。西の谷間から山に登っていくが、垂直の岩場が多くルートは少ない。
最寄り駅(直線距離)