天文10年(1541年)東常慶によって築かれた。東氏は下総国千葉氏の庶流で篠脇城主であったが、天文9年と翌10年の二回に渡り越前の朝倉氏の侵攻を受けた。かろうじて撃退したものの大きな損害を受けたため赤谷山城を築いて居城を移したという。
永禄2年(1559年)東氏の庶流でこのとき宗家を凌ぐほどの勢力を持っていた遠藤胤縁は、八朔の祝で赤谷山城を訪れていたが、このとき常慶の嫡男常尭によって鉄砲で撃たれ謀殺された。これによって胤縁の嫡男胤俊と胤縁の弟で刈安城主の遠藤盛数がともに赤谷山城を攻め、十日あまりの攻城戦のすえ落城した。城主の東常慶は討死(あるいは逃亡)、その嫡男常尭は城を脱して飛騨の内ケ島氏を頼って落ち、東氏は滅亡した。
赤谷山城は東殿山城(とうどのやまじょう)とも呼ばれているが、これは東氏の殿の山城という意味である。八幡山城の南東に聳える標高580m程の山を東殿山と呼んでいるが、赤谷山城はこの途中にある標高520m程のところに主郭がある。
非常に険しい山で、登山道が整備されていなければ登る事もできないような急峻な尾根の連続である。赤谷山城はこの急峻な山に三ヶ所の曲輪を設けており、途中に明瞭な堀切はなく、主郭に石積があるのが最大の見どころである。
主郭は標高520mのところで削平され周囲は切り立った断崖である。南背後は天然の堀切で岩盤が垂直に切り立っており、こちら側から登るのは容易では無い。西側面には整った高さ1.5m程の石積を確認することができる。登山道はずっと木が茂っており、景色を眺めることはできないが、杉の木の枝の間からかろうじて八幡城を望むことができた。
二郭は主郭の北下、標高480m付近、三郭は標高430m付近にあり、それぞれ平段がかろうじて残る程度である。この間から西の谷(赤谷)へ降りて行く道があり、少し降りたところに「水呑場」と伝えられる石積み遺構がある。この赤谷ルートから下山すると市役所裏に出てくることができるが、道は少々荒れており、ルートはよく確認する必要がある。
登山道は市役所の東隣にある愛宕公園から続いている。細尾根の急坂の連続で、ロープを頼りに登るような道となっている。帰路は赤谷方面に降りてみたが、こちらも急坂で道が分かりづらい所が多い。この道は市役所の奥の谷沿いに出てきた。
最寄り駅(直線距離)