築城年代は定かではないが越賀氏によって築かれたと云われる。 越賀城は藤原氏の末裔を称し初代越賀玄蕃允隆俊、二代隼人隆政、三代隆春と三代の居城であった。志摩十三地頭の一人。

永禄年間(1558年〜1570年)に九鬼氏と三年に戦ったが結局は九鬼氏に降り、嘉隆の時代には家老となって朝鮮の役、大坂の陣に従軍して功をあげたという。

越賀城は南の海へ突き出した岬の丘陵に築かれている。

山上は開墾されて畑となっているが、北側に土塁が残っている。

最寄り駅(直線距離)
6.3km 賢島駅
7.5km 志摩神明駅
8.7km 鵜方駅
9.0km 志摩横山駅

付近の城(直線距離)
1.3km 志摩 和具城
3.2km 志摩 御座城
7.2km 志摩 船越城
7.7km 志摩 里中城
9.0km 志摩 鵜方城
9.9km 志摩 波切城

2009年10月