築城年代は定かではないが南北朝時代に九鬼隆信によって築かれたと云われる。 九鬼氏の出自は詳らかではないが、一説に伊勢国佐倉の藤原隆信が、北朝方の仁木弾正に攻められ、九鬼浦へ逃れて住み、九鬼氏を名乗ったことに始まるという。
九鬼隆房の二男九鬼隆良は志摩国波切の川面氏の養子となって移り、波切城を築いた。その後、九鬼嘉隆の時代に志摩国を平定し織田信長・豊臣秀吉に仕え鳥羽城を築いた。
九鬼城は九鬼中学校の東、海に向かって張り出した丘陵に築かれていたという。
大正初期の頃までは城の遺構が残っていたといわれるが、現在では宅地が建ち並び遺構は残っていないという。
九鬼漁港の先にある九木神社は、九鬼城内に祀られていたもので江戸時代に現在の地へ移されたという。九鬼から九木へ字が替わったのは紀伊藩主の命だといい、三鬼浦を三木浦とするのも同じ理由と考えられる。