延慶2年(1309年)大内弘幸によって築かれたと云われる。

銀山争奪のため、大内・尼子・毛利氏によって激しく争奪戦が行われたが最終的には毛利氏の所有となっり、江戸時代には天領となって廃城となった。

国指定史跡として石見銀山遺跡に登録された城館(山吹城・石見城・矢筈城・矢滝城)のうちの一つである。

麓にある西本寺には山吹城の城門と伝えられる山門があり、以前は「山吹城城門」の標柱が建っていたが、詳しく調査したのか、現在では建立年代は十七世紀初期とされており、山吹城の遺構ではなかったようである。

山吹城は標高414mの要害山山頂に築かれており、山頂の主郭を中心として南北に曲輪が展開されている。

主郭の南下には大きな空堀が巡らされ、東側を土橋として残している。ここから屈折した通路が南へ降り、南端の山腹には畝状竪堀群を施している。主郭の北側には石垣で固められた虎口があり、曲輪の西側には土塁が残る。

整備された遊歩道がある。