築城年代は定かではない。 また、築城者に関しても武田氏とも小山田氏ともいわれているが定かではない。
天正10年(1582年)新府城にいた武田勝頼は、織田氏の進軍に対して、小山田信茂の進言により新府城に火をかけ、岩殿城を目指して退去した。 しかし、小山田信茂は勝頼を受け入れず、勝頼は天目山で自刃、甲斐国武田氏の嫡流は滅亡した。
城は桂川に架かる高月橋の北側に聳える岩山の頂上に築かれている。 山は東側を除いて急峻で、特に南面には岩が剥きだしとなっており威圧感がある。
高月橋を渡った所に登山用の駐車場があるのだが、それに気づかずに東側から登った。
山頂の本丸の東側には堀切が二条ある。本丸は無線中継施設が建ち、その西側が少し高くなって狼煙台とされている。
本丸から西へ降りると二の丸、三の丸を経て馬場に出る。馬場の南側には井戸が二つ残る。
馬場の先から南へ降りる道には天然の岩が桝形のような状態になっており、木戸が置かれていたようである。