築城年代は定かではないが松岡氏によって築かれたと云われる。
松岡氏は平安時代の前九年の役で敗れた安倍貞任の次男仙千代が、乳母に連れられて市田郷の牛牧村へ逃れ、その後郷民に推されて地頭となり、松岡平六郎貞則と名乗り松岡古城に住んだのが始まりと云われる。
鎌倉時代の動向は定かではないが、「吾妻鏡」によって弓始の射手を勤めたことがわかっている。
応永7年(1400年)の大塔合戦では守護小笠原氏に従って松岡次郎が参陣し、永享12年(1440年)の結城合戦にも参陣している。
天文23年(1554年)甲斐武田信玄が伊那へ侵攻し、小笠原氏の鈴岡城や知久氏の神之峯城などが攻められて落城すると、松岡氏は武田氏に降った。天正10年(1582年)織田信長が信濃へ侵攻し、大島城や高遠城が落城し武田氏が滅亡すると、飯田城主となった織田氏の部将毛利秀頼に従った。しかし、同年信長が本能寺の変で倒れると、松岡氏は徳川方の高遠城を攻めた小笠原貞慶に味方し改易となった。