天正10年(1582年)谷衛友によって築かれたと云われる。 衛友の父衛好は斉藤龍興に仕え、後に羽柴秀吉に仕えた。
天正6年((1578年)には播磨国平田城にて六千石を領していたが、三木城攻城中に戦死、衛友は父の仇を討ち六千二百石の加増を受けた。
関ヶ原合戦では西軍に属し丹後国田辺城攻めに参加したが、細川藤孝の斡旋により許され所領を安堵された。
2代衛政の時、六千石を弟と甥などに分地し一万石となって明治まで続いた。
山家陣屋は上林川と由良川が合流する地点の近くの山麓に築かれており、 現在は山家城址公園として整備されている。
陣屋の南西は上林川に面した断崖で、北から北西に掛けて大きな空堀を配し、曲輪の上部に石垣が残されている。曲輪内には陣屋井戸とされる石組み井戸がある。
公園入口付近に駐車可能。
最寄り駅(直線距離)