永和3年・天授3年(1377年)佐波常連によって築かれたと云われる。 佐波氏は三善氏の一族で石見国安濃郡佐波の発祥。常連が赤穴荘の地頭職を譲られ、弘行のとき赤穴氏を名乗った(石見国青杉城参照)。尼子十旗の一つ。
応仁の乱では赤穴幸清は京極氏に従って京で戦い、文明2年(14710年)には尼子氏に従って神西城を攻めている。
天文9年(1541年)尼子晴久は安芸の毛利元就の郡山城へ攻め入ると、赤穴光清もこれに従っている。この戦いで尼子氏が敗れると、天文11年(1542年)には周防の大内義隆が毛利元就などを従えて出雲へ侵攻した。このとき周囲の国人が尼子から大内へ寝返る中、赤穴光清は尼子方として瀬戸山城に籠城し、地の利を生かして大内軍と戦ったが、二ヶ月に及ぶ籠城戦の末に光清は討死した。このとき光清の父郡連は三男盛清(後の久清)を連れて城を脱し、月山富田城の尼子氏を頼って落ちたが、長男詮清と二男定清は大内氏に従った。
月山富田城を攻めた大内義隆が敗れると赤穴氏が再び瀬戸山城へ戻り、郡連が後見人となって赤穴久清が家督を継いだ。
永禄5年(1562年)今度は毛利元就が出雲へ侵攻し武名ヶ平城に陣を構えた。赤穴久清は降伏開城し、以後毛利氏に従った。
関ヶ原合戦に敗れた毛利氏は防長二カ国に減封となり、赤穴氏もこれに従って萩へ移った。代わって出雲国へ入部した堀尾吉晴の家臣松田左近吉久が瀬戸山城主となり、この時代に近世城郭として改修されたと考えられている。その後、元和の一国一城令により廃城となった。
赤穴瀬戸山城は赤名小学校の南東に聳える標高631mの山頂に築かれている。 現在は山頂付近は木が伐採され、公園として整備されている。
赤穴瀬戸山城は山頂の主郭を中心に南西に二郭、三郭、南西曲輪群、北東に四郭、五郭、東尾根に大手門と東曲輪群で構成されている。
主郭は南側に虎口があり、石段を伴う虎口は一度右に折れて登るようになっている。 南西下の二郭から三郭へ進む通路も石段の虎口があり、北東下の四郭から五郭へ入る通路も同様である。
石垣は草が茂っていて分かりづらいのだが、主郭や三郭、四郭と五郭にもあり、主郭部は総石垣造りであったようである。南西曲輪群には土塁があり、そこから北西側の尾根に堀切と小段が付いている。
国道54号線沿いにある道の駅「赤来高原」に周辺の詳しい案内板がある。登山口は赤名小学校の所にある。
城主松田左近の墓は登山道の北側にあり、赤穴氏累代の墓は菩提寺である大光寺の裏山に残っている。
最寄り駅(直線距離)