築城年代は定かではない。日振島は天慶の乱で藤原純友が拠った地として知られており、城ヶ森城も藤原純友による築城との伝承がある。

現在残る遺構は明らかに戦国時代のものであり、豊後の大友氏が伊予への中継地点として整備したものと考えられている。

城ヶ森城は日振島の中心である明海港(あこ)の南側に聳える標高80m程の山に築かれており、現在は純友公園として整備されている。

主郭は東西に長く東端が一段低くなり、ここに『藤原純友籠居之跡』の石碑が建立されている。主郭の西端は高土塁となりその背後を大きな堀切3で遮断している。さらに西へ続く尾根に堀切2と堀切1があるが、いずれも浅くなっており、その間の尾根はほぼ自然地形である。

堀切1より西は畑として開墾された名残で石積された平段や溜池の跡が残り、その先は能登方面に続く山路に通じている。この山道は現在の県道ができる以前のもので、能登集落から日振島小学校に通う児童の通学路としても使われていたそうであるが、現在は藪に埋もれて通行できないようである。

主郭の虎口は北側にあり、北下に一段下がった腰曲輪を経て現在の登山道の方に降りるスロープがある。虎口脇には石塁があり、虎口の東側は三条の竪堀がある竪堀群5がある。一方南にもやや幅広の竪堀4が確認できるが、この下方から東側面を弓形になった平地があり、おそらく遊歩道の名残と思われる。

小さな島にある城としてはかなり立派な造りである。虎口脇に石塁、土塁にも一部石積、曲輪の側面にも一部石積が確認できるが、一部は公園化など後世の改変であろう。

宇和島港から日振島明海港への定期便が一日三便ある。日振島は夏季の海水浴シーズンを除いて飲食可能な施設はなく、駐在所前に自動販売機が一基あるだけなので、飲料や食料は持参する必要がある。