築城年代は定かではない。尼子十砦の一つで原民部少輔が在城した。

赤崎山城は伯太川と吉田川の間にある標高87.8mの城山山頂に築かれている。

主郭は北端の頂部で現在は公園として東屋が立っている。南西側が凹んで虎口となり、南尾根は堀切で土橋が架かる。南にもう二郭あり、浅い堀切で区画する。その南は岩である。主郭の北下にも土橋の架かる堀切らしき地形が残っている。

北麓にある賀茂神社の境内の東側から遊歩道が付いている。もう一方の入口は東の山辺大堤の方にあり、鉄塔経由で登る。