築城年代は定かではないが建武2年(1335年)頃、赤沢氏によって築かれたと云われる。 赤沢氏は小笠原氏の一族で、小笠原長経の次男清経が伊豆国赤沢郷を領して赤沢氏を称したことに始まる。

天文19年(1550年)武田氏が松本平に侵攻して小笠原氏を攻めた際、稲倉城主赤沢左衛門尉は武田氏に降り、小笠原氏の家臣の籠もる伊深城を攻め落としたとも云われる。

天正10年(1582年)武田氏が滅亡し、織田信長が本能寺の変に倒れると、赤沢清経は徳川氏の助力を得て松本に復帰した小笠原貞慶に再び属した。しかし、翌天正11年(1583年)清経は塔ノ原城主海野氏や小岩嶽城主古厩氏らと結んで上杉氏に通じ、謀叛を企てたが露呈し切腹を命ぜられ赤沢氏は滅亡した。

稲倉城は稲倉集落の北にある山塊の南西へ延びた尾根に築かれている。

稲倉城は空堀で区画された曲輪が北から本郭、二の郭、三の郭と南西方向に連なる連郭式の縄張りである。

本郭は北端が尾根上の最高所にあり、そこから階段状に小郭が続き、二の郭と空堀で隔ててやや広い削平地になっている。北端の最高所は物見程度の広さで、その背後には二重堀切を設けて遮断している。

二の郭が中心的な曲輪と思われ、北端に小高く中心的な曲輪があり、そこから北の空堀に面して土塁が付いている。この土塁と南へ伸びた尾根との間に階段状に削平地を設けている。

二の郭からいくつかの空堀を隔てて南端にあるのが三の郭であるが、三の郭は細尾根を削平した曲輪群になっている。

南麓の横手集落は赤沢氏の館があった所で、車道の脇に案内板が設置されているが、現在は畑や宅地で遺構はない。

国道254号線から一本北側の集落内の道を走っていると、稲倉峠口の道標、道祖神などがある。ここから北へ続く車道を上っていくと赤沢氏の館の案内板があり、さらに進む駐車場と登山口がある。