築城年代は定かではないが大島氏によって築かれたと云われる。 大島氏は船山城主片切為行の八男、八郎宗綱が大島郷を分知され大島氏を称したのが始まりとされる。
元亀2年(1571年)武田信玄は飯田城代であった秋山信友に命じて大島城を普請させ、高遠城とともに伊那の拠点とした。
天正10年(1582年)織田信忠率いる織田軍が飯田城を落とし大島城に迫ったが、城兵は戦わず城に火を放って逃亡し落城する。
大島城は天竜川に面して東側に突き出すような台地の上に築かれており、現在は台城公園として整備されている。
大島城は天竜川に面した東端に本丸、西に二の丸、三の丸と配した縄張りで、二の丸、三の丸の西側にはそれぞれ馬出を備えている。三の丸の西にある馬出は民家の敷地になっているが、外側には二重の三日月堀が現存する。二の丸の西にある馬出は、三角形の小郭から三の丸に対して斜めに土橋が架かる珍しい構造をしている。