築城年代は定かではない。 城主は千賀山城守、千賀弥三郎、千賀兵太夫などが伝えられる。
天正7年(1579年)細川藤孝に攻められ千賀氏は大島城に籠城したが後に降った。 千賀山城守は後に尾張徳川氏に仕えて「御船手の大将」を務めたと伝えられる。
大島城は伊根湾に半島状に張り出した山塊に築かれており、国道178号線大島トンネルの東側が城域である。『日本城郭大系』によれば、顕孝寺には「安養寺殿千巌良勝大禅定門」という位牌があり千賀氏のものと伝えられている。
大島城は大島トンネルの東側にある南北に伸びた丘陵に西曲輪群、その東にある標高131mの東西に伸びた丘陵に東曲輪群がある。
西曲輪群は南北に伸びた尾根に築かれており、東曲輪群に比べ遺構は不明瞭でより古い時代のものであろうか。東曲輪群に通じる尾根は浅い二重堀切で遮断し、南西の尾根は南側に竪堀を入れている。
東曲輪群は山頂の主郭から東西に曲輪を配しており、西尾根は二条の深い堀切で遮断している。主郭の東側は幅広の浅い箱堀で北側にスロープになった土橋が架かる。主郭の北側斜面には東西両サイドに大きな竪堀を落として側面移動を防いでいる。
主郭の東側の曲輪も主郭と同じ規模の曲輪で、東側には深い堀切を設けている。その東側は堀切側に土塁の付いた曲輪から東尾根に段々に曲輪が続き、東端を堀切で遮断している。
大島トンネルの上に古い峠道があり、そこから登っていったのだが笹薮が多く苦労する。下山に利用した山道は南西麓の顕孝寺の辺りに通じており、金比羅神社に向かって西側をよじ登った辺りに出てきた。
隣にある白山神社の境内に大島城跡の案内板が建っている。