築城年代は定かではないが慶安元年(1648年)保科正貞が一万七千石で飯野藩となったのが始まりで、この頃に築かれたと考えられている。
寛文元年(1661年)二代保科正景が家督を継ぐと、保科正英に二千石を分知して一万五千石となったが、延宝5年(1677年)に二万石に加増され、以降代々続いて明治に至る。
飯野陣屋は三條塚古墳を含む平地に築かれている。陣屋と称しているものの、本丸、二の丸、三の丸とあり、東西の規模は約500m程の大きな平城で、俗に三大陣屋の一つに数えられている。
本丸は飯野神社の東側の区画で参道の入口となる部分が本丸の枡形であったが、残念ながら土塁部分は大きく壊されていて枡形としては残っていない。この陣屋は外堀とされる外周の水堀が今でも水路として巡っており、この部分が県指定史跡である。