築城年代は定かではないが斎藤下総守師郷によって築かれたと云われる。
天正4年(1576年)斎藤は讃岐侵攻の時期を伺っていた長宗我部氏の誘いに応じた。これに対して阿波国勝瑞城にあった十河(三好)存保は天霧城主香川氏と聖通寺城主奈良氏に藤目城の攻撃を命じたが、香川氏は従わなかった。奈良勝政は西讃の諸豪族を率いて斎藤氏と長宗我部氏の将が籠る藤目城に攻め寄せた。 斎藤氏は藤目城に籠もってこれに対応したが、やがて香川氏が三千の軍勢を率いて奈良氏の加勢に来るとの風聞によって戦意を失い、斎藤氏は城を捨てて阿波国の大西氏を頼って落ちた。
天正6年(1578年)長宗我部元親は本篠城の財田和泉守を攻めてこれを落とすと、藤目城へと迫り、藤目城に籠もった新目弾正の激しい抵抗を受けたがこれを攻め落とし、斎藤下総守を城主とした。
藤目城は粟井神社の西に聳える標高136.5mの山頂に築かれている。
山頂の東下にある藤目不動院の裏に本丸があり、四国ミニ八十八箇所として石仏が置かれている。この山頂から東下の尾根に二ノ丸があったというが、ここはミカン畑などになっている。
主郭は東西に長く低い土塁が周囲に付いている。西下から南下に掛けて帯曲輪が巡っており、東側は二段になっている。はっきりとした堀切は見あたらないが、東側の登り口付近に堀込みの地形がある。
本丸の東下に二ノ丸があり、ここに藤目城の石碑と案内板が建っている。車道や果樹園となっており遺構は良く分からない。
粟井神社入り口に周辺名所案内の看板があり、藤目城が記されている。そこから車道が二ノ丸、本丸東下の藤目不動院まで通じており、車で行くこともできる。
最寄り駅(直線距離)