築城年代は定かではないが南北朝時代に由佐氏によって築かれたと云われる。 由佐氏は下野国益子氏の分流で、建武3年・延元元年(1336年)足利尊氏に属し新田義貞との戦いの功により讃岐国香川郡井原荘を領し由佐氏を名乗ったことに始まる。
室町時代には細川氏、戦国時代には三好氏に属していたが、長宗我部氏の讃岐侵攻に降った。しかし、羽柴秀吉の四国征伐の後は仙石氏さらに生駒氏に仕えた。
由佐城は「香南歴史民族郷土館」の辺りに築かれていた。現在は模擬天守となっており、図書館や郷土資料館、由佐氏に関するものが展示されており、無料で見学できる。
唯一地表面で観察できる遺構がこの資料館の庭にある土塁で南北に伸びている。また資料館の北側には城主であった由佐秀盛の墓が残っている。