築城年代は定かではないが文明2年(1470年)に陶弘護が吉見氏に備えて築城されたものと考えられている。

天文19年(1550年)には陶晴賢が大内義隆を攻撃する前に大改修したという。厳島の合戦後、晴賢の子長房が守衛していたが晴賢によって殺された杉氏の一党が押し寄せ味方と間違えて城門を開いたところ攻められ落城した。

城は標高217mの若山に築かれている。

城は山頂に本丸があり西に虎口を開く。東の尾根に二の丸、三の丸があるが現在ここは駐車場である。本丸の北側には横堀があり、そこから北側面に畝状竪堀群が施されている。竪堀は20条余りあるとされるが残存状況は良くなく数条が明瞭に残る。

本丸から西の尾根に向かうと西の丸があり、東隅に石垣が残る。さらに西へ降ると蔵屋敷があり、その西端に竪堀と堀切が残る。

西の丸の東側から本丸の北下を回って北へ伸びる尾根があり、ここにも堀切らしき窪みと土塁状の土盛が残る。

陶氏の根古屋は下上の武井にある「陶氏館」であるが、そこからのアクセスは北尾根沿いの小畑からと南方からが考えられているがわかっていないようである。西麓の夜市には「宮ノ馬場」や「的場」など気になる地名が残っている。

国道2号線沿いに若山城へ案内が出ている。ただし中央分離帯があり上り車線から左折でしか入れないので注意が必要。