築城年代は定かではないが矢部氏によって築かれたと云われる。 矢部氏は入江氏の一族で駿河国安倍郡矢部村発祥(駿河国矢部館)といわれる。梶原討伐で功を挙げたことにより、因幡国八束郡二十余ヶ村を与えられ、矢部輝種が入部したことに始まるという。

矢部氏は入部以後代々続き、二度にわたる毛利次郎の乱では私部城主毛利次郎貞元を中心として守護に反乱を起こしている。

天正6年(1578年)には羽柴秀吉の家臣で摂津国車瀬城主の荒木平太夫(後の木下備中守重堅)に与えられた。 関ヶ原合戦で重堅は西軍に属して戦い、西軍が敗れると自刃して果てたという。

慶長6年(1601年)山崎家盛が摂津国三田城より三万石で入封した。 元和3年(1617年)家盛の子山崎家治のとき備中国成羽へ転封となり、鳥取藩領となって廃城となった。

若桜鬼ヶ城は若桜小学校の南に聳える標高445.9mの山頂に築かれている。

近世初頭の総石垣による本丸・二の丸・三の丸一帯と、尾根先に残る中世城郭が融合された城郭で、国指定史跡としてきれいに整備されている。

山頂の主郭の南端には天守台を備え、二の丸、三の丸と北へ向かって階段状に連なる。総石垣で桝形の虎口などを備えている。

若桜駅から南西に進むと若桜小学校があり、その脇から登山道が尾根伝いに続く。車であればそこから川沿いに南西に進み、きれいに舗装された林道を登ると南背後の馬場にある駐車場まで登ることができる。