築城年代は定かではないが江戸時代初期に福島正則によって築かれた。

安芸国広島藩主福島正則は、元和5年(1619年)洪水で破損した広島藩の石垣の無断改修を咎められて改易となった。その後、改めて信濃国高井郡に二万石と越後国魚沼郡に二万五千石、あわせて四万五千石の捨て扶持が与えられ、高井野藩となった。 これにあわせて正則は家督を嫡子福島忠勝に譲っているが、翌元和6年(1620年)に忠勝は早世した。

寛永元年(1624年)福島正則が没すると幕府の検使団の到着する前に荼毘に付し、またも法令違反を起こしたとして高野井藩は改易となった。

福島正則館は現在の高井寺の境内付近に築かれていた。 現在はわずかに北東隅に土塁を残して射るのみで、周囲の石垣は寺の建立のときに築かれたものという。

屋敷跡から北東の地に「福島政則公 荼毘の地」(地図)がある。県道沿いに道標があるのでそれに従うと行ける。