築城年代は定かではない。建武年間(1334年～1338年)頃に赤松則弘によって築かれたのが始まりとされる。
赤松則弘は広岡氏の祖で楯岩城は広岡氏代々の居城となったと考えられるが詳らかではない。
楯岩城は標高249.9mの城山の西峰に築かれており、現在は登山道が整備されている。
主郭となる西峰にはテレビ塔が建てられているため、特に東の尾根背後側の遺構はわからなくなっている。しかし、山頂の西から南にかけて隅石を持つ石垣が点在しており、南尾根の段曲輪群にも石積が認められる。
主郭から北西に下る尾根は一部人工的な加工が見られるが、ほぼ自然地形のようである。そこから西尾根になる辺りから広く削平された曲輪群があり、一部には土塁が認められる。この土塁は粘土質のような色合いであり土塀の跡のような印象を受ける。尾根部分には浅い溝のようなものは認められるがはっきりとした堀切は見当たらない。
登山道入口は西麓の若王寺神社からついており、境内に案内板や駐車場、トイレがある。
テレビ塔までは林道が付いているようだが、一般車両は通行できない。
最寄り駅(直線距離)