築城年代は定かではないが泉氏によって築かれたと云われる。 泉氏は鎌倉時代に泉小次郎親衡が鎌倉より飯山へ逃れて土着し、泉氏の祖となったと伝えられる。
永禄7年(1564年)頃、上杉謙信は飯山城を改修して武田氏の侵攻に備えた。 その後、武田信玄は長沼城を拠点として飯山城攻略を目指したが、飯山城が落城することはなかった。
その後、武田勝頼の時代に武田氏の属城となったが、天正10年(1582年)武田氏が滅亡した後は織田氏が占拠した。しかし、本能寺の変により織田勢が退くと上杉景勝の所領となり、家臣岩井信能が城主となった。慶長3年(1598年)上杉景勝の会津転封に従い岩井氏は会津に移った。
| 和暦(西暦) | 事象 |
|---|---|
| 慶長3年(1598年) | 信濃国長沼より関一政が三万石で入封。 |
| 慶長4年(1599年) | 関一政は美濃国多良に転封。 |
| 慶長8年(1603年) | 下野国皆川より皆川広照が七万五千石で入封。 皆川広照は川中島十八万石の藩主松平忠輝の守役として飯山に入封しており、独立した大名ではない。 |
| 慶長14年(1609年) | 皆川広照は守役を不的確とされ改易、後に赦免され常陸国府中にて一万石の大名に復した。 |
| 慶長15年(1610年) | 越後国坂戸より堀直寄が四万石で入封。 |
| 慶長16年(1611年) | 駿府城の火災の消火に功があり一万石の加増を受けて五万石。 |
| 元和2年(1616年) | 堀直寄は越後国長岡に転封。 近江国高島より佐久間安政が三万石で入封。 |
| 寛永15年(1638年) | 佐久間安次が嗣子なく没し改易。 |
| 寛永16年(1639年) | 遠江国掛川より松平忠倶が四万石で入封。 |
| 宝永3年(1706年) | 松平忠喬は遠江国掛川に転封。 播磨国赤穂より永井直敬が三万三千石で入封。 |
| 宝永8年(1711年) | 永井直敬は武蔵国岩槻に転封。 摂津国尼崎より青山幸秀が四万八千石で入封。 |
| 享保2年(1717年) | 青山幸秀は丹後国宮津に転封。 越後国糸魚川より本多助芳が二万石で入封。以後、本多氏が続き明治に至る。 |
飯山城は千曲川の西岸にある比高30m程の丘陵に築かれている。 南端の本丸から北に二ノ丸・三ノ丸、西下に西郭を配していた。 麓には水堀が巡り、北東側には三日月堀があったようであるが、現存していない。
本丸一帯は石垣造りで、北西隅に枡形虎口が残る。建物は現存していないが、櫓門である南中門が復元されている。この櫓門には民家に移築されていた城門が使われているという。