築城年代は定かではないが塩冶周防守によって築かれたと云われる。

元亀3年(1572年)には山中鹿之介が因幡支配の拠点として一時在城したと云われる。

天正8年(1580年)羽柴秀吉による鳥取城攻めのさい、垣屋播磨守光成が桐山城に在城し、天正9年(1581年)一万石を領して桐山城主となった。光成の子の垣屋隠岐守恒総は関ヶ原合戦で西軍に属して伏見城、大津城を攻めたが、関ヶ原で西軍が敗れると高野山へ逃れて自刃、桐山城主垣屋氏は滅亡した。

元和3年(1617年)池田光政が鳥取藩主となると、重臣池田加賀守政虎を浦富城に配したが、これが桐山城とされる。また、寛永9年(1632年)池田光仲が藩主のとき、家老の鵜殿氏を浦富に配し鵜殿大隅陣屋を築いた。この地は「宗管屋敷」(宗管は垣屋光成)と呼ばれ垣屋氏の居館があった所と云われる。

桐山城は田後港の南に聳える標高202.9mの山頂に築かれている。 縄張は簡単なもので南北に伸びる山頂の尾根に長い主郭を設け、南尾根に小段を配したのみで、堀切などの遺構は確認できない。

垣屋光成の墓と伝えられる五輪塔が垣屋八幡宮(地図)として祀られている。

登山口は「いわし山登山口」と「奥内登山口」があります。

「いわし山登山口」(地図)は浦富海岸から田後港へ向かう途中に、二手に道が分かれる所で、浦富海岸の駐車場を使うことができる。

「奥内登山口」(地図)はおそらく大手道で鵜殿氏の墓地付近にあるが、こちらは付近に駐車場はない。