元禄11年(1698年)遠藤胤親によって築かれた。 元禄5年(1692年)3月郡上八幡城主遠藤常久が7歳で嗣子なく没し、幕府によってお取り潰しとなったが、先祖の遠藤慶隆の功績が認められ、一族の遠藤胤親を大垣新田藩主戸田氏成の養子とし、常陸国・下野国に一万石を与えられて存続した。この胤親の所領が近江に移され三上陣屋を構えて三上藩となった。

嘉永5年(1852年)遠藤胤緒のときに二千石の加封があり一万二千石となった。 慶応4年(1868年)新政府に敵と見なされて所領を没収されたが、同年罪は許され領地は返還された。明治3年(1870年)遠藤胤城のとき、和泉国吉見へ移された。

三上陣屋は通称近江富士と呼ばれる三上山の西麓に築かれていた。 現在は堀跡と思われる小川が残る他は宅地となり、明瞭な遺構は残っていない。

陣屋の門と伝えられるものが、湖南市岩根にある常永寺と陣屋跡の直ぐ近くの民家に移築されている。

国道8号線と県道504号線の御上神社前交差点の北側に御上神社がある。ここから東の三上山西麓にある集落に向かい、やや北側に進むと「山出前」バス停がある。この東側一帯が陣屋跡。