元禄13年(1700年)江戸幕府によって築かれた。

元禄11年(1698年)福山藩十万石の水野氏が無嗣子で改易となると、幕府は岡山藩主池田綱政に命じて検地を行い、新石高を十五万石とした。水野氏の後に福山城主となった松平忠雅は十万石で、残り五万石は幕府直轄の天領となり、これを管理するために上下代官所が設けられた。

享保2年(1717年)二万石が豊前国中津藩領となり、規模が縮小したことで石見国大森代官所の出張陣屋となって明治まで続いた。

上下代官所は銀山街道(石州街道)に面した地にあり、旧上下町役場があった。

代官所は東から北に面して石垣が残っている。また町内の民家に代官所の門が移築現存している。

上下町は銀山街道に面した町内に古い街並みが残り、上下歴史文化資料館には付近の中世城館や上下代官所に関する展示もある。

国道432号線と県道25号線との上下支所(北)交差点の南西にある。 国道に面して道標があるが、ここから入ると道が狭く車であれば一本南側の道を入るほうが良い。また、歴史文化資料館の前にも無料駐車場がある。

最寄り駅(直線距離)
0.4km 上下駅
3.3km 備後矢野駅
3.9km 甲奴駅
6.1km 梶田駅
7.1km 備後三川駅

付近の城(直線距離)
0.4km 備後 翁山城
0.6km 備後 丹下城
0.6km 備後 薄古城
1.2km 備後 国留城
1.8km 備後 時鳥城
1.8km 備後 千丸松城
2.3km 備後 有福城
2.5km 備後 井永城
2.8km 備後 日掛城
2.9km 備後 矢多田城
3.0km 備後 平田城
3.2km 備後 龍王山城(甲奴町)
3.8km 備後 三見城
4.1km 備後 麓山城
4.4km 備後 高鉢山城
4.4km 備後 西野山根城
5.1km 備後 小童山根城
5.5km 備後 鳥頭城
5.8km 備後 階見城
5.8km 備後 小塚城
6.2km 備後 竹添城
6.4km 備後 木津和城
6.4km 備後 有田城(甲奴町)
6.9km 備後 川澄城

2010年10月