長享元年(1487年)瀬名一秀によって築かれたと云われる。 文明8年(1476年)今川義忠が塩買坂にて不慮の戦死を遂げると竜王丸と小鹿範満による家督争いが起こった。一族で遠江今川氏の今川陸奥守一秀が竜王丸の補佐役に抜擢され、竜王丸の家督相続に貢献し、これによって一秀は瀬名郷を与えられ瀬名館を築いて瀬名氏を名乗った。
以後、瀬名館の瀬名氏は氏貞、氏俊、氏詮と四代続いた。桶狭間合戦で没落した瀬名氏は瀬名政勝の時に徳川家康に従い小牧・長久手合戦で戦功を挙げ三百石を領して旗本として江戸時代に至る。
瀬名館は長尾川と梶原山との間に広がる平地に築かれていたようである。 「大屋敷」と呼ばれる地にあったとされるが、現在は宅地が広がり遺構は残っていない。
梶原山の裾野には瀬名氏の祖今川一秀の菩提寺である光鏡院、二代瀬名氏貞の菩提寺松寿院、三代瀬名氏俊室の菩提寺龍泉院が残っている。