築城年代は定かではないが鎌倉時代に中山氏によって築かれたと云われる。 中山氏は武蔵七党の一つ丹党加地氏の出で、加治家季の頃に中山に住み、子孫が中山氏を称した。
中山家範は北条氏康の子で八王子城主となった北条氏照に重臣として仕えた。天正18年(1590年)豊臣秀吉の小田原征伐では城主氏照が小田原城で籠城するなか、城代横地吉信とともに八王子城に籠城し、豊臣方の前田利家・上杉景勝を中心とした大軍に攻められわずか一日で落城、家範も討死した。
中山家範の子、中山照守・信吉兄弟は後に関東に入部した徳川家康に召し抱えられた。中山照守は徳川秀忠に付けられて旗本として続き、中山信吉は徳川頼房の付家老となって水戸徳川家の重臣となり、常陸国松岡で二万五千石を領している。
中山家範館は中山信吉の菩提寺である智観寺の北東に築かれていた。 智観寺東下の道路の一本東側を北へ行くと左側に中山家範館の案内板と石碑が建っている。 ここに館の北西隅の堀が一部残っている。
智観寺は水戸藩付家老となり常陸国松岡藩となった中山信吉の家系の菩提寺となっており、二代と四代を除く歴代当主の墓地となっている。