永正17年(1520年)武田信虎によって築かれた。 信虎は永正16年(1519年)石和から躑躅ヶ崎館に居城を移し、翌年詰の城として要害山城を築いた。

大永元年(1521年)今川氏の部将福島正成が甲斐国に侵攻する。この時信虎の正室大井の方は懐妊中で、躑躅ヶ崎館を離れ要害山城に籠った。この時生まれたのが武田晴信で後の信玄である。

天正3年(1575年)長篠合戦で大敗した武田勝頼は、翌年要害山城の修築を開始する。 しかし、天正9年(1580年)方針を転換して新たに新府城を築いた。

武田氏滅亡後も維持されたが慶長5年(1600年)廃城となった。

城は積翠寺の東にある西に張り出した尾根に築かれている。 要害温泉から登りはじめると、随所に石垣を伴う虎口があり、一部は桝形を形成している。

本丸には「武田信玄公誕生之地」の石碑が建ち、東西に長い長方形で北側の一部を除いて土塁で囲まれている。東に続く尾根には南北に竪堀を置いて中央に土橋を残し連結した小郭があり、南側に虎口が残る。その先にも北側に竪堀が四条、南側に二条あり、この城に残る竪堀はこの辺りが一番良く残っている。