築城年代は定かではない。
南北朝時代に柱島の地名を名乗る柱五郎左衛門俊宗という人物が居たことが忽那家文書から知られている。柱氏の祖は藤原穂智と伝えられており、現在柱島城に石碑がたっている。
柱氏については詳らかではないが、柱島は忽那氏の支配する忽那七島に組み込まれており、中世前期は概ね忽那氏が支配していた。
戦国時代になると桑原氏ついで中臣氏へと領主が代わり江戸時代はじめに岩国領吉川領に組み込まれ、中臣氏は中冨氏と名を変えて庄屋として続いた。
柱島城は標高160m付近に築かれており、現在は金蔵山への登山道が城内を通っている。
単郭の城で西背後を堀切で遮断し堀切に面して土塁を備えている。現在は登山道が城の北側面を上がって堀切を貫通して続いているので若干改変を受けている。
曲輪の東端部に柱氏の祖と伝えられる「藤原穂智之墓」と刻まれた石碑があるが、中央南側に塚状の高まりを残している。
曲輪の東端部付近にはやや大きめの石が点在しているが、一部は並べられ東下に降りる通路も確認できる。この通路が旧道と考えられるが、墓碑への参拝道として整備されたものかどうかはわからない。
柱島へは岩国港から定期便がある。金蔵山への登山道は港のところから小中学校を経由して登るようになっており、道標がたてられ整備されている。