応永26年(1419年)村上山城守雅房によって築かれたと云われる。 三島村上水軍の一つ能島村上氏の拠点の一つとして築かれた。
天文24年(1555年)陶晴賢と毛利元就が戦った厳島合戦で、能島村上氏は毛利方につき勝利に貢献した。フロイスの『日本史』では日本最大の海賊と称されるほどの勢力を持っていたが、豊臣秀吉による四国征伐ではこれに従わず、小早川隆景の攻撃を受けて降伏、安芸国鎮海山城主となった。
慶長5年(1600年)関ヶ原合戦で村上武吉の嫡男元吉は加藤嘉明の居城である伊予国松前城を攻めたが、三津刈屋口の戦いで敗れて討死した。その後、村上氏は毛利氏に従い防長二カ国へ移っている。
能島城は大島と鵜島との間に浮かぶ周囲約1km程の能島とその南にある鯛崎島で構成される。
能島は逆三角形の形をした島で、その中心となる高台に本丸、それを取り囲むように二の丸、西の先端部に三の丸、南の南端部に東南出丸、東の先端部に矢櫃と呼ばれる曲輪があり、南の鯛崎島も鯛崎出丸となっている。 能島の周辺は潮の流れが速く複雑で自然の要害となっている。
最大の見所は水軍城として活用された証拠でもあるピット(柱穴)跡で、これを見るためには干潮時に訪れなければならない。比較的簡単に確認できるのは北側に船溜まりの東側にあるピット跡で、丸や三角の穴が岩に刻まれている。現在船が着岸する所から南へ歩いた所には最大の穴と思われるピット跡がある。
村上水軍博物館は能島村上氏関連の展示がある。
能島へは定期便がないため、基本的に渡海できる機会は年に一度四月上旬にある花見のときである。日付は決まっていないようなので、このシーズンになると調べていくのがよいだろう。