築城年代は定かではないが高遠氏によって築かれたのが始まりと云われる。

高遠氏は諏訪上社大祝の諏訪頼継の子信員が藤沢庄を領したのが始まりと云われ、その後代々続いた。

文明15年(1483年)干沢城主大祝継満は、諏訪惣領家の満政と嫡子宮若丸等を上社の神殿に招き、饗応中に不意をついて謀殺し、祭政二権を得ようと画策したが失敗し、高遠へ逃れてきた。翌文明16年(1484年)継満は高遠継宗の助力を得て再挙兵し、片山古城を修復して諏訪惣領家と戦ったが武運なく失敗した。

天文11年(1542年)高遠頼継は諏訪惣領職を狙って、甲斐武田信玄と結んで諏訪へ侵攻した。諏訪頼重は上原城を捨てて桑原城へ移り防戦したが、武田氏からの和議を受け入れ開城した。しかし頼重は翌日甲斐へ連行されると、大祝頼高とともに自刃させられ、諏訪郡は宮川を境に東が武田領、西が高遠領となった。頼継はこの決定に不満で、武田氏の兵が諏訪から引き上げると、武田氏の守備兵が籠もる上原城を攻め落とした。この報を聞いた武田氏は板垣信方を先陣として送ると、信玄は諏訪頼重の遺児虎王を擁して諏訪へ進軍した。高遠軍と武田軍は安国寺門前で激突したが、頼継の弟頼宗が討死するなど高遠軍は大敗した。

天文14年(1545年)武田信玄が高遠へ侵攻すると頼継は城を捨てて逃亡、高遠へ入った信玄は翌日には福与城の藤沢頼親を攻めた。天文16年(1547年)武田氏は高遠城を改修し、上伊那郡の拠点として整備した。このとき縄張したのが勘助曲輪に名を残す山本勘助と伝えられる。

高遠城が武田氏の持城となると、高遠氏から武田氏に寝返った保科氏、ついで秋山信友、永禄5年(1562年)には諏訪氏の名跡を継いでいた諏訪勝頼(武田勝頼)が城主となった。 元亀2年(1571年)勝頼は武田氏の家督を継ぐ人物として甲府へ戻ると、武田信廉が城主となった。

天正9年(1581年)武田氏と織田氏との対立が激化すると、勝頼の弟仁科五郎盛信が城主となり、大島城には武田信廉が入った。天正10年(1582年)織田信長の嫡男信忠は木曾義昌救援のため信濃へ侵攻すると、松尾城主小笠原信嶺は織田氏に降り、飯田城に籠もっていた坂西織部や保科正直、大島城に籠もっていた武田信廉も戦わずに敗走した。高遠城に籠もっていた仁科盛信以下三千の兵は、織田信忠からの降伏勧告にも応ぜず徹底抗戦したが、五万の大軍を擁する織田軍には多勢に無勢で、仁科盛信は城を枕に自刃して果てた。この戦いのあと、信濃から甲斐へ怒濤の如く攻め上った織田軍に対抗するすべもなく、武田勝頼は天目山で自刃し武田氏は滅亡する。

織田氏の所領となった高遠は毛利秀頼(ばしめ毛利長秀)が城主となったが、信長が本能寺の変で倒れると、旧武田家臣で小田原北条氏の助力を得た保科正直が高遠を占領し、その後、徳川家康に属した。

天正18年(1590年)豊臣秀吉により小田原征伐の後、関東に移封となった徳川家康に従い保科正直・正光父子は下総国多古へ一万石で転封となり、秀吉の家臣毛利秀頼が再び伊那郡を領したが、秀頼は飯田城を居城とした。

慶長5年(1600年)関ヶ原合戦の後、再び保科正光が二万五千石で高遠城主となった。 正光は徳川二代将軍秀忠の隠し子、幸松丸の養育を託され、その功もあって元和4年には五千石の加増を受けた。寛永8年(1631年)正光が没すると、幸松丸改め保科正之が家督を継ぎ、後の会津藩松平氏の祖となった。

高遠城は三峰川と藤沢川が合流する地点の東側にある台地の西端に築かれており、現在は国指定史跡として高遠城址公園として整備されている。

高遠城は方形に近い本丸の北側に二の丸、更に北に三の丸、本丸の南東に南曲輪、法幢院曲輪などで構成され、深い空堀によって区画されている。

元々は東側が大手、西が搦め手であったが近世になって西が大手に変わり、現在は大手門の桝形の石垣が一部残っている。

三の丸には藩校である進徳館があり、南の高遠湖に面した高遠町歴史博物館には絵島の囲い屋敷が復元されている。建福寺には保科正直・正光父子と勝頼の母と伝えられる墓があり、絵島の墓は蓮華寺(写真は的場城参照。)にある。

勘助曲輪、三の丸に駐車場がある。