康永元年・興国3年(1342年)岡部出羽守によって築かれたと云われる。
康永元年・興国3年(1342年)南朝方の伊予国仏殿城は、北朝方の細川頼春によって攻撃され、救援に赴く南朝方の伊予衆は燧灘で北朝方に阻止された。この合戦で敗れた伊予衆が鞆に流れ着き、備後国の南朝勢力と築いた拠点が大可島城という。
北朝方勢力は小松寺に陣を構えて大可島城と対峙したが、大可島城に籠もっていた伊予衆は伊予の拠点である世田山城が北朝方に攻められ危機に瀕すると伊予へ帰国してしまい、わずかに残った備後の南朝方が籠もる大可島城は北朝方の猛攻を受けて落城し全滅したという。
戦国時代には織田信長に京を追われた足利義昭が鞆城に滞在していたため、警護として村上亮康が大可島城に在城していた。