築城年代は定かではないが小浦喜平次忠重によって築かれた。 忠重は伊豆国から地頭としてこの地に移り住んでいたが、文明年間(1469年〜1487年)に松平信光が安祥城を落とし居城としたことで、その家臣となった。
松平親忠ははじめ四男の親房を城主としたが、親房に子がいなかったため、松平長親の三男信定が養子となり、桜井松平氏の祖となった。
享禄3年宇利城攻めに参陣した信定は、兄福釜松平親盛とともに大手より攻撃したが、親盛を救援せず親盛が討死したことで清康の怒りをかったという。信定はこれを恨み清康が尾張国守山へ進軍したときも、上野城より動かず、信定の子清定の妻が織田信秀の妹ということもあって、織田方へ内通したとの噂がたった。
清康が尾張国守山で家臣に殺されると、信定は松平宗家の乗っ取りを企て、清康の子広忠は一時岡崎を離れて流浪した。
天正18年(1590年)徳川家康の関東移封にともない、桜井松平氏は武蔵国松山へ一万石で移封となり廃城となった。
現在は城山公園として一部残存している土塁の上に石碑が建っている。