築城年代は定かではない。「妙法寺記」に「九月十八日従伊豆国早雲入道甲州ヘ打入。吉田城山、小倉山両所ニ代ヲ致テ云々」と記されており、文亀元年(1501年)北条早雲が甲斐に侵攻した際に吉田城山が出ているが詳細は不明。

吉田城は小倉山から北に伸びた細長い丘陵に築かれている。 現在は国道137号線が南側を通って小倉山と分断されているが、元々は地続きであった。

城山の南側はどうやらホテル建設のために大きく削られたようであるが、現在は荒れ地になっている。北側の先端部分に削平地と堀切らしき浅い溝がある程度で、切岸もそれほど明瞭ではない。