築城年代は定かではない。
永正年間(1504年〜1521年)の城主は香川民部少輔で、天正年間(1573年〜1592年)に羽床城主の羽床資載や長宗我部元親の軍勢によって攻められており、香川民部少輔は備後の小早川隆景に援軍を求めたり、城を棄てて小早川氏を頼って落ちていったりしている。その後、豊臣秀吉の四国征伐によって旧領を回復したが、戸次川合戦で討死したという。
西庄城は綾川西岸の平地に築かれていたという。「オオヤシキ」という地名と、その北に「スミヤグラ」という地名が残るがはっきりした遺構はない。
「オオヤシキ」から東と南へ伸びた道路は不自然にクランクしており、城に伴うものかもしれない。東は特にクランクしている所に溜め池があり、堀の名残であろうか。