築城年代は定かではないが鎌倉時代に吉見氏によって築かれたと云われる。 その後、厳島の神職として下向した藤原親実が桜尾城を居城とし安芸国守護も兼ねた。

その後は代々厳島神主家の居城となっていたが、大内義興の助力によって京へ帰った足利義稙に随行して上洛した14代藤原興親は、同年末に京で客死する。これによって厳島神主家が断絶となった。厳島神主家の相続を願った友田興藤は銀山城主武田光和等、安芸の諸豪族の協力を得て桜尾城を占拠する。これに怒った大内義興は陶興房、弘中下野守を門山城へ送り、その後自身も門山城へと入った。その後、大内軍は桜尾城を取り巻き陶衆が二重まで切り入った。しかし籠城方も笛太鼓にてはやしたて手強く守ったため、興藤の兄の子藤太郎が神主職を相続する条件で和睦が成立した。

しかし、享禄元年(1528年)大内義興が亡くなると興藤が再び神領を思うままにし、天文10年(1541年)には大内氏と断交する。大内義隆はすぐさま門山城へと進み、桜尾城を取り囲むと、籠城していた羽仁、野坂、熊野らは興藤に二心あって城内から逃亡。興藤は城に火をかけて自刃したという。

天文22年(1553年)毛利元就は桜尾城等の厳島神領の諸城を落とし、桜尾城には重臣桂元澄を置いて要とし、大内義隆を討った陶晴賢と対立。翌年厳島合戦で陶晴賢を敗る。 その後、毛利元就の四男穂田元清が城主となったが、関ヶ原合戦後に防長二ヶ国に減封となり、廃城となった。

現在は桂公園となっており、城山も大幅に改変されている。