永正6年(1509年)三沢遠江守為忠によって築かれたと云われる。 代々三沢城主であった三沢氏は為忠のときに藤ヶ瀬城を築いて居城を三沢から移した。享禄4年(1531年)三沢為国のとき尼子氏が背後の「桶ヶ嶺」から攻められ藤ヶ瀬城は落城、三沢氏は尼子氏に降った。その後、三沢為清・為虎の時代には亀嵩城を居城とした。

藤ヶ瀬城は下横田川と斐伊川が合流する地点の北東側に築かれている。

主郭は南側の山頂で、北背後は自然地形を利用した大堀切で北尾根を遮断している。 主郭は方形の段で北東隅に一段高く櫓台を設けている。ここを中心として西と南に曲輪群を配し、一部は帯曲輪で連結している。

主郭の南下は屈折した通路で繋がり、南北に長い曲輪がある。西尾根は主郭から西へ五段ほどの曲輪があり、大半は北側を削り残して土塁としている。主郭から二段下りた曲輪の中央には素堀の井戸があり、今も1m以上の穴が開いている。その下の曲輪は北側を高さ数mの大土塁として残し、尾根の付け根を堀切にしている。

主郭の南下の曲輪から東下へ降りる通路があり、主郭の東下の馬蹄形の曲輪に至る。ここからは屈折した堀底道が伸び、忠魂碑のある公園の入口に至る。ここには藤ヶ瀬城の標柱もあり、今は笹藪になっているが元々の登り口であったようだ。

近くにある晋叟寺は藤ヶ瀬城時代の三沢氏の菩提寺という。

出雲横田駅から北へ進み川の対岸の山が城山。 県道107号線と県道258号線の三ツ別れ交差点から西へ50m程進むと北へ入る車道がある(地図)。ここから北の山に進むと民家脇からさらに山へ入る林道となっており、この終点が忠魂碑のある公園になっている。

主郭へは公園入口脇の所から堀底道を登るのが本来のルートだと思われるが、諏訪神社から斜面をよじ登るほうが簡単かもしれない。