永禄年間(1558年～1570年)に宇喜多氏(伊賀氏)によって築かれたのが始まりとされる。
天正2年(1574年)毛利氏が藤沢城を奪って清常城に本陣を構えて虎倉城を攻めたが、伊賀氏によって撃退された。
天正8年(1580年)には毛利輝元が和智元次を藤沢城への在番を命じ、再び虎倉城を攻めている。
備前、備中国境にある日名と田土には二ヶ所の藤沢城が存在しているが、田土の藤沢城は国境部分から備前側にかけて遺構が確認できる。
藤沢城は備前備中境目となる山に曲輪群I、そこから備前側に伸びた北東の尾根に曲輪群II、III、IVがある。
曲輪群IはI1が最高所で、そこから北、南、東の三方に伸びる尾根に曲輪を展開しているが、曲輪の区画は明確ではなく、内側は段々に造成しているものの、外側の塁線は削り残しの土塁や通路などで繋がっている。
各尾根の先端は堀切で遮断している。虎口は北のI2の部分にあり、虎口の外側にある小郭を経て竪堀群の下方に下って北尾根の峠路のほうに繋がっている。
曲輪I1からI3へ伸びた尾根には校正の石切場による錯乱が見られる。また谷筋を囲むような竪土塁が確認できるが、これは国境の境界土塁かもしれない。
備前側には曲輪群II、III、IVが尾根上に築かれており、曲輪IIIには藤沢城の城石碑が建てられている。
曲輪群IIは北端に土塁があり、緩やかに南の下る尾根を曲輪とし、西尾根に堀切6を設けているが、曲輪群Iに続く南の尾根は遮断していない。
曲輪群IIIは削平はしっかりしているが土塁はなく、北側に一段の腰曲輪を設け、その先に四重堀切7を設けて遮断している。
北端の曲輪群IVは北に傾斜しており、下方から帯曲輪に接続する。北側には東に竪堀を伸ばす堀切8、東の尾根側にも堀切9が確認できる。
日名側にある神社のトイレの奥から山道があり、それをたどると北尾根の曲輪群に至る。また、西側の峠路からもアクセスできる。
案内板は県道沿いにあるバス停(地蔵堂)にある。