延宝4年(1676年)井上政蔽によって築かれた。
高岡藩井上氏は鶴舞藩井上氏の支流で、井上政重が徳川家光に仕えたことに始まる。島原の乱の功によって寛永17年(1640年)に六千石を加増されて一万石の大名となり諸侯に列し、さらに三千石を加増され、一万三千石となった。
万治3年(1660年)政重の隠居にともない嫡孫政清が家督を継ぎ、このとき弟政則に千石、政明に五百石を分知して一万千五百石の大名となった。
延宝3年(1675年)政蔽が家督を継いだが、このときも弟政式に千五百石を分知したため、一万石の大名となった。高岡の地に陣屋が築かれたのはこの政蔽のときで、以降代々続いて明治に至る。
高岡陣屋は三峯神社やJAかとり一帯に築かれていた。めぼしい遺構は見当たらないが、三峯神社の鳥居の脇に石碑がたっている。