元和元年(1615年)遠山方景によって築かれた。 明知遠山氏は中世には代々明知城を居城としていたが、戦国時代末期に徳川家康を頼って明知城を去っていた。しかし、関ヶ原合戦の功によって恵那郡と土岐郡内に六千五百三十石を得て明知城主に返り咲いたが、二代方景の時に陣屋を築いた。

遠山氏は旗本で当初は参勤交代をする交代寄合であったが、延宝6年(1678年)以降は江戸定府となり、以降は代々村上氏が代官を務めた。幕末の遠山景普は長崎奉行・作事奉行・勘定奉行を務め、その子遠山景元は北町奉行を務めた。おなじみの「遠山の金さん」のモデルである。

明知陣屋は明知城の西麓、大手門近くに築かれている。 現在は大手門脇に水堀が残り、代官を務めた村上氏の屋敷がある。