築城年代は定かではないが鎌倉時代前期に近藤氏によって築かれたと云われる。 近藤氏は庄官として京から来ていたが次第に土着し大西氏を称した。
戦国時代に入り三好氏が衰退し長宗我部元親が台頭すると白地城にも押し寄せたが、堅城であったため落城せず大西氏が人質を出すことで一時は和議が整った。しかし、三好氏が織田氏に援軍を請い長宗我部元親との対立を深めると、大西氏は和議を破り戦闘準備を整えはじめた。 これに対して長宗我部元親はまず白地城の支城である田尾城を攻め、2日でこれを落とすと大西氏は白地城を捨て讃岐国麻城に落ち延びた。
元親は白地城を改修しここを拠点として羽柴秀吉の四国平定軍と対峙しようとしたが、わずか3ヶ月で降伏し土佐に退いた。
白地城は吉野川と馬路川が合流する地点の高台、現在の「大歩危祖谷阿波温泉 あわの抄」が建つ地に築かれていた。
城跡は大きく削られており、残存遺構は乏しくわずかに大西神社の背後に土塁跡とされる土盛がわずかに残る程度である。「あわの抄」の駐車場には白地大西城の案内板があり、入口のバス停はそのまま『白地城址』である。
「白地城址」の石碑は大西神社にあり、神社はこのバス停から「永楽荘 第一デイサービスセンター」に向かい、敷地の中にある。また「あわの抄」の塀の外側に一応遊歩道とされる道があり、そこからも土塁を確認することができる。