寛文7年(1667年)松平近栄によって築かれた。 松平近栄は松江藩越前松平氏初代直政の次男で、美濃国大垣藩主松平忠良の娘婿となっていたが、直良に子の直明が誕生したため、松江に戻っていた。 寛文6年(1666年)直政が没して兄松平綱隆が家督を継ぐと、松平近栄に出雲国能義郡・飯石郡内に三万石を分知されて広瀬に陣屋を構え広瀬藩となった。
当初は松江藩から蔵米三万石が支給されていた。近栄は天和2年(1682年)越後国高田藩主松平光長の御家騒動を調停したが、このときの不調法を将軍綱吉に咎められ閉門処分となり一万五千石を召し上げられた。しかし、その後の貞享3年(1686年)・元禄7年(1694年)に加増を受け所領は三万石に戻った。
嘉永3年(1850年)八代松平直寛のとき城主格に列せられ、このとき陣屋も拡張されたという。
広瀬陣屋は広瀬小学校の西側にある安来市地域包括支援センターの所に築かれていた。
東側にある広瀬小学校のグラウンドよりやや高く、グラウンドに面して石垣と土塁が残り「松平広瀬藩邸跡」の碑が建っている。小学校には家老の鈴木氏庭園も残されている。
広瀬町富田にある城安寺はもともとこの辺りにあった寺で、陣屋が築かれるにあたって移された。この城安寺に松平直諒の墓が残っている。(地図)