築城年代は定かではない。一説に天正年間(1573年〜1592年)頃に高原次利によって築かれたとも云われる。

高原氏の出自は香西氏一族、伊予川之江の川上氏など諸説あり定かではない。天正10年(1582年)高原次利が羽柴秀吉に拝謁して児島郡内5か村545貫文の加増を約束されたが、これが実行に移されることはなく、直島、男木島、女木島の600石を安堵された。

豊臣秀吉の唐入では高原氏は寺沢氏の与力として海上輸送に貢献、関ヶ原合戦も寺沢氏とともに東軍に属して所領を安堵され、徳川氏の旗本となった。

高原氏は高原次利、次勝と続き、三代直久のとき交代寄合に列した。このとき領地の再検地が行われ高600石から高2000石へ高直しされた。その後、徳寿、内記と続くが、内記は若年であったにも関わらず、山家藩谷氏から養子をとり、数馬仲頼へ家督が譲られた。しかしこれが御家騒動の発端となり、寛文11年(1671年)高原氏は改易、仲頼は実家の谷家、内記は備中松山藩水谷家にお預けとなった。

高原氏改易ののち、直島は天領となり倉敷代官所の管轄となった。

直島城は島の中央東海岸にある本村地区にあり、海に面して北へ伸びた比高20mほどの丘陵に築かれており、現在は公園として整備されている。

直島城は江戸時代高原氏の居館として利用され、改易された後は荒廃していたようであるが、天明元年(1781年)の火災で消失するまでは建物がそのまま残されていたようで、火災直前の絵図に「矢倉」、「本丸」の記載が残されている。18世紀になると歌舞伎の舞台となり、これが戦前まで続けられていた。

現在残る直島城の遺構は曲輪の南端にある高土塁と堀切で、とくに土塁は高さ4m程の大規模なものである。曲輪は北端に一段低く矢倉と書かれた腰曲輪らしきものがあるようだが、藪に埋もれて確認できなかった。

直島へは岡山県玉野市宇野港、香川県高松市高松港などから船があり、島内はレンタサイクル、バスなどの交通手段がある。