築城年代は定かではない。戦国時代末期の城主は西川美作守政輔(芝政輔)であった。
西川美作守政輔は西園寺氏の河原淵領のなかにある西之川領主で、河後森城の支城の一つであった。西川美作守政輔の長男は多武が森城主芝一覚政景、二男は竹ヶ森城代芝左京進政稔、三男が鳥屋ヶ森城主を継いだ西川四郎右衛門瑞熙、四男が河後森城主となった芝源三郎であった。
西川政輔は長宗我部氏への内通を疑われて西園寺氏に鳥屋ヶ森城を取り囲まれたときも、抵抗せず起請文を提出して危機を脱するなど、智将として知られていたという。芝一族は豊臣秀吉による四国平定戦には抵抗せず下城して領地内にとどまっていた。戸田勝隆が領主となったのち、西川政輔は諸国巡礼の旅に出て戻ってこなかったという。
鳥屋ヶ森城は大宿川に沿って南西に伸びた丘陵に築かれている。
城は大きく3つのブロックで構成されており、主郭部は最高所の曲輪群Iと考えられる。 後世畑として転用されていた痕跡が多く、特に南側面には段々に造成された畑跡や墓地が多く存在する。
曲輪群Iは最高所に二段になった曲輪I1があり東端に土塁を設けている。東背後に続く尾根は改変されているものの、主郭下に二重堀切2、少し離れて堀切3が確認できる。主郭の南下にある腰曲輪の西端が虎口になり、西から大きな竪堀地形1を経て入る構造になる。
曲輪群IIは観音堂があるところで北東端に櫓台のような高まりがある。西の尾根先端部分は北側が大きく削られていて遺構は判別できないが堀切は見当たらない。一方南に続く尾根にも大きな段曲輪が曲輪II6まで続いている。
曲輪群IIIは主郭から南に伸びた尾根の先端に一段小高く存在し南北二段に削平され北端に土塁と思われる削り残し地形がある。
南麓の国道沿いに案内板が設置されている。観音堂に続く入口は民家の奥から山裾を登っていくルートになっている。
最寄り駅(直線距離)