築城年代は定かではない。
元暦・文治年間(1184年〜1190年)頃には、諏訪の社領に属していた藤沢与一盛景が城主であったとも云われるが定かではない。この藤沢氏の末裔は拠点を箕輪の福与城主になっている。
その後の動向は定かではないが、天文18年(1549年)には保科正直が城主であった。 保科氏は諏訪氏あるいは高遠氏に属していたが、天文14年(1545年)武田信玄が杖突峠を越えて高遠へ侵攻した際、保科正俊は離反して武田氏に味方した。
藤沢城は藤沢川に松倉川が合流する地点の西側にあり、標高1020m程の通称蛇山山頂に築かれている。
主郭は山頂にあって楕円形で周囲を低土塁が巡っている。北背後の尾根は二条の堀切とその奥に浅い一条の堀切で遮断し、南は堀切を隔てて一郭あり、その先端にも堀切を設けている。
案内板に記された城郭絵図は天正10年(1582年)頃のものと考えられており、それには今残る藤沢城のある山上には櫓があげられ、麓には二重の櫓を設けた本丸、二の丸、三の丸が描かれている。また虎口は桝形で外郭には馬出のような構造も描かれ、戦国末期の武田氏の城郭構造とみられる。
国道152号線沿いに道標があり、高遠町の中心部から諏訪方面に北上しているといかにも城山という感じの山が見え、それが藤沢城になっている。国道沿いから遊歩道が山上に通じている。
最寄り駅(直線距離)