築城年代は定かではないが永享年間(1429年〜1441年)に山岡資広によって築かれたと云われる。 山岡氏の出自は詳らかではないが、甲賀の伴氏の後裔といわれ、甲賀郡山岡発祥とされる。

永享年間(1429年〜1441年)に山岡氏の一族で田上城主であった山岡資広が、瀬田に城を築いて移ったのが始まりと云われる。

山岡氏ははじめ佐々木六角氏に仕えており、山岡景隆の時代には「江南の旗頭」と呼ばれる程の実力を持っていた。永禄11年(1568年)織田信長の上洛軍が攻め寄せ佐々木六角が観音寺城を捨てて逃れる頃になると、信長に降った。

その後は信長に仕えて伊勢国大河内城攻めや雑賀攻め、伊賀攻めなどに従軍している。天正10年(1582年)信長が本能寺の変に倒れると、明智光秀の誘いを断って勢多橋を焼き落として山中へ逃れた。その後は織田信雄に味方して伊勢峰城攻めに参加したが、賎ヶ岳合戦の折りに柴田勝家に通じたと疑われ、瀬田城を捨てて出奔し山岡城に蟄居したという。

瀬田城は瀬田川の東岸、瀬田唐橋の南側付近に築かれていたという。 現在は宅地などとなり遺構はないが、県道29号線沿いに石碑と案内板が建っている。

瀬田唐橋東詰交差点を南へ曲がり南下する。緩やかなカーブを描いて川沿いに出る辺りにマンションがあるが、その壁際に石碑と案内板がある。