承久3年(1221年)小笠原長経によって築かれたと云われる。 承久の乱のよって戦功のあった信濃の小笠原長清が阿波守護に任ぜられると長清の子長経が守護代として下向し築城した。
南北朝時代になると小笠原氏は白地城の大西氏と共に南朝方として戦ったが次第に南朝方が不利となると和議を結び、寛正年間(1460年〜1466年)に小笠原義長の代に芝生城へ移り、三好氏を名乗った。
天正13年(1585年)羽柴秀吉の四国征伐により長宗我部氏が破れると、蜂須賀氏が阿波国へ入部した。蜂須賀家政は家臣牛田掃部尉が五千石を領して兵300で守り阿波九城の一つとなった。
大西城は現在の池田幼稚園一帯に築かれていた。幼稚園の下に石垣が残っている。