築城年代は定かではないが正平年間(1346年〜1370年)に横田頼挙によって築かれたのが始まりとされる。横田頼挙は津和野の吉見頼行の弟とされる。
築城以降、横田氏の居城として代々続いたが、天文23年(1554年)三本松城の吉見氏を攻めるため、周防の陶晴賢が各方面より侵攻してきた。周防山代方面からは江良弾正、端土太郎らの軍勢が侵攻し、指月城に続いて能美山城も落城したという。
その後も横田氏の居城であったが、関ヶ原合戦ののちに、毛利氏は萩へ転封となり、横田氏もまた主家吉見氏に従って転封となった。
能美山城は高津川に沿って西へ伸びた山に築かれている。
城は東西に長く伸びた尾根上に曲輪を展開しており、東端の曲輪iが一番高い。東尾根は主郭下に堀切7で遮断、さらに離れたところに堀切8があり、現在北の林道から続く能美山八十八ヶ所の参道はこの堀切8に続いている。
曲輪iiの西端にお堂があり、その北下に曲輪viiがある。この曲輪viiの西下には今も水が湧き出ている井戸があり、東側には巨大な二条の竪堀5がある。ここに「搦手」の表示がなされているが、明確に虎口とわかる遺構はない。ただし二重竪堀東側の堀は屈折して曲輪iiの下まで伸びている。
曲輪iiiは西端が南へ曲がって下り、小さな段曲輪iv、v、viと続く。先端に堀切などはなく、現在は参道がそのまま浄雲寺に続いている。
『島根県中近世城館分布調査報告書』の図面では南に竪堀を二条書いているが、確認した範囲では見つけられなかった。ただ曲輪iの南側に堀切6がある。
能美山八十八ヶ所の参道が浄雲寺墓地の裏の谷間から続き、北の林道まで石仏が並んで続いているが、浄雲寺裏からの道は入口を見つけるのが難しい。
北の林道から100mほど入った所が少し開けており、駐車可能である。そこから徒歩で林道に沿って入っていくと、朽ち掛けた標柱で「能美山八十八ヶ所参道→」がある。ここを入ってもすぐに林道に合流するので無視して進むと、また石仏があり近くに動物捕獲用の檻が置いているところがある。そこから山に入るとまた石仏があり、その辺り明瞭な山道が続いている。