寛永19年(1642年)山名矩豊によって始め現在の資料館の辺りに築かれた。 文化3年(1806年)尾白山の中腹に陣屋を移し明治に至る。
山名豊国は慶長6年(1601年)関ヶ原合戦の功によって美方郡六千七百石を拝領したが本拠地は備前国福岡に置いてこの地には代官を派遣した。
3代矩豊の時、本拠地を黒野村に移しこの地を村岡と改称した。 山名氏は交代寄合の旗本として代々続き、明治元年11代義済のとき新政府に新田四千三百石の加増が認められ、合わせて一万一千石となり大名に列したが、明治4年には廃藩置県を迎えた。
村岡陣屋は国道9号線と482号線が交差する地点の東側の山腹に築かれており、現在は御殿山公園として整備されている。
御殿山公園には塀や門など陣屋の雰囲気のする構造物があるが、遺構としてはあまり見るべき所がなく、西に向かって段々となり、下のほうは家臣の屋敷があった。この公園に『奥方部屋』という建物が再移築されている。
陣屋内には「桜山御廟」、北の谷間には「壷(坪)谷御廟」、そして南には山名氏の菩提寺法雲寺がある。
奥方の部屋(移築 その他)
御殿山公園に駐車場がある。