築城年代は定かではないが座光寺氏によって築かれたと云われる。 座光寺氏は船山城主片切氏の庶流で、応永年間(1394年〜1428年)に片切為信の三男河内守重慶が座光寺に住み、座光寺氏を称したことに始まると云われる。
戦国時代には一時知久氏に従い、天文11年(1542年)甲斐武田信玄が伊那に侵攻すると、伊那の諸将とともに武田氏に属した。天文22年(1553年)武田氏が川中島で上杉氏と戦った後、翌天文23年(1554年)座光寺氏は知久氏とともに武田氏に反旗を翻した。武田信玄は自ら兵を率いて伊那へ侵攻し叛乱を鎮圧、座光寺貞信は生け捕りとなった。
その後は徳川家康に仕え、江戸時代は交代寄合の旗本として山吹陣屋を構え一千百五十石を領した。
座光寺北城は現在の座光寺小学校から耕雲寺一帯に築かれていた。 この辺りに土塁や堀の一部が残っているというこであったが、わからなかった。