築城年代は定かではないが中原秋家によって築かれたと云われる。 秋家は楠目城山田氏の祖となった人物で、香宗我部氏の祖である一条忠頼の子中原秋通の後見人であった。
大永6年(1526年)香宗我部親秀が安芸氏との戦いで敗れ、嫡子秀義が戦死すると弟秀通を養子として家を継がせたが、長宗我部氏が台頭すると長宗我部国親の三男親泰を養子として迎えようと画策する。既に秀通には嫡子がおり、これを拒否したが親秀は秀通を殺して親泰を養子に迎えた。
長宗我部氏が安芸氏を滅ぼすと親泰は安芸城主となり、後に阿波国方面の軍代として活躍する。
豊臣秀吉による朝鮮の役では嫡男親氏が出陣したが戦死し、代わって親泰が出征したものの長門国で病死する。このため親氏の子親和が幼少の身で家督を継いだ。 慶長6年(1601年)長宗我部氏が改易となると親和は肥前国唐津の寺沢氏に仕官した。
香宗城は野市町土居の平地に築かれていた。周囲は宅地や田畑となって遺構はほぼ失われているが、八幡宮が祀られた土塁がわずかに残されており、ここに案内板や石碑が建っている。