元禄13年(1700年)江戸幕府によって築かれた。

享保2年(1717年)二万石が豊前国中津藩領となり、規模が縮小したことで石見国大森代官所の出張陣屋となって明治まで続いた。

上下代官所は銀山街道(石州街道)に面した地にあり、旧上下町役場があった。

代官所は東から北に面して石垣が残っている。また町内の民家に代官所の門が移築現存している。

上下町は銀山街道に面した町内に古い街並みが残り、上下歴史文化資料館には付近の中世城館や上下代官所に関する展示もある。

国道432号線と県道25号線との上下支所(北)交差点の南西にある。 国道に面して道標があるが、ここから入ると道が狭く車であれば一本南側の道を入るほうが良い。また、歴史文化資料館の前にも無料駐車場がある。