築城年代は定かではないが建暦年間(1211年〜1213年)頃に青柳氏によって築かれたと云われる。
青柳氏は伊勢神宮の麻績御厨預職としてこの地に根付いた一族と云われる。
青柳氏は信濃守護小笠原氏に従っていたが、天文22年(1553年)武田氏が苅谷原城を攻略し、川中島方面に侵攻したとき、青柳氏は武田氏に降ったが、その後、上杉氏によって攻められ放火された。
青柳氏は武田氏に属した後、麻績城主となって麻績氏を称していたが、天正10年(1582年)武田氏が滅亡し織田信長が本能寺の変で倒れると、一時越後の上杉景勝に従った。しかし、徳川家康の援助を受けた小笠原貞慶が松本に復帰すると、青柳氏は再び小笠原氏に従った。
天正11年(1583年)上杉景勝が青柳に侵攻すると、小笠原貞慶とともに上杉軍と戦ったが大敗し青柳城は落城した。しかし、景勝は急遽陣払いをして越後へ戻ったため、再び青柳氏が再び青柳城主となった。ところが、天正15年(1587年)青柳頼長は小笠原貞慶によって松本城で謀殺され、青柳氏は滅亡してしまう。青柳氏滅亡後は小笠原氏家臣の松林氏が在城した。