築城年代は定かではないが、文治年間(1185年〜1190年)に新宮蔵人行家(源行家)によって築かれたのが始まりという。
その後、松平信光の七男忠景が宝飯郡五井に居し、五井松平氏の祖となった。 二代松平元心(長勝)のとき長泉寺を菩提寺としている。天正18年(1590年)徳川家康の関東移封に従い、六代松平伊昌は下総国印旛郡内に二千石を領した。
五井松平氏は江戸時代には旗本となり、後に六千石に加増され、交代寄合の旗本として明治に至る。
五井城は長泉寺の南東側一帯に築かれていたという。 八幡宮の南ある御宮池は堀の名残とされ、昭和63年頃までは高さ4mの土塁が40m程残っていたというが、現在は存在していない。
長泉寺は五井松平氏の菩提寺で、三河国初代守護職安達藤九郎盛長の五輪塔が残る。