築城年代は定かではないが明応年間(1492年〜1501年)に玉之浦十郎像によって築かれたと云われる。玉之浦氏は宇久氏の一族という。

玉之浦像の子が玉之浦納で宇久覚の娘(囲の妹)を娶っていたが、永正4年(1507年)義理兄の宇久囲を辰ノ口館に急襲してこれを自刃に追い込み、福江島を支配した。しかし、大永元年(1521年)囲の子で平戸の松浦弘定を頼って逃れていた宇久次郎三郎盛定が松浦弘定の援軍を擁して福江島へ再上陸し玉之浦城を急襲、玉之浦納はこれを防戦することができず、嵯峨島へ逃れたが追っ手に追われ自刃して果てた。

玉之浦城は玉之浦集落の西に聳える標高94m程の山頂に築かれている。

主郭は山頂で小さく三段程に平段があり石積されている。側面も石積が残り、曲輪の淵にも一部石塁があり、その脇から通路が伸びて虎口になっている。

主郭から西へ伸びる尾根はハッキリとしないが浅い堀切状になる。南東へ伸びる尾根は中央を土橋状にした堀切で遮断している。

主郭から北東へ伸びる尾根の先に一段小高くなった所があり、金比羅神社の境内となっている。神社が祀られているので後世のものかもしれないが、周囲に石積、背後は石塁になっている。おそらく出丸であったものと思われる。

北東麓に金比羅神社への参道入口があり、神社まで階段が付いている。(参道入口)