築城年代は定かではない。古くは寿永2年(1183年)源義仲の部将今井兼平が御服山に陣を張るなど要害として活用されていた。

天正6年(1578年)には神保八郎左衛門が居城としていたとも云われるが定かではない。神保氏は越中国中央部に勢力を持った国人で、天文12年(1578年)頃に神通川を越えて富山城を築き、新川郡を支配していた椎名氏と対立していた。

永禄3年(1560年)頃から越後の上杉謙信は圧迫された椎名氏を援助して神保氏を攻め、永禄5年(1562年)神保長職は呉増山に立て籠もってこれに抵抗したが敗れて城を去った。

天正13年(1585年)羽柴秀吉の佐々成政征伐では、秀吉の本陣が白鳥城に置かれ、白鳥城に籠もっていた前田氏の部将岡島一吉は南麓の安田城に出城を築いて移った。 この頃に現在に残る縄張に改修されたと見られている。

佐々成政が降伏すると成政は新川一郡に減封となり、砺波・婦負・射水三郡が前田利家に加増された。利家は越中三郡を支配するために前田利長、木舟城に前田秀継、増山城に山崎長鏡、白鳥城に岡島一吉、城生城に青山佐渡を置き、佐々成政に備えた。天正15年(1587年)佐々成政は肥後に転封となると、慶長2年(1597年)には前田利長が守山城から富山城に移り、岡島一吉は白鳥城から安田城へ移ったという。

白鳥城は神通川の西岸、川に添って南北に連なる呉羽丘陵の最高所にあたる城山山頂に築かれている。現在城山には遊歩道が設けられ公園として整備されており、大半の曲輪は見ることができるが、堀などは薮深く確認することが難しい。

山頂の主郭を中心として東、南、北の尾根に遺構が拡がる。主郭は北に虎口を開き、北西側が北に張り出して横矢を掛ける構造が残る。北下は本丸下曲輪で、この曲輪から主郭の東西にある二の丸、西二の丸に至る道が本来の道と思われ、互いに本丸下の空堀と外側の空堀との間に土橋状に残された細い通路となっている。

本丸の東下にある二の丸は北東部に土塁を残し、堀切で隔てて東の三の丸、さらに東の東出丸に至る。

周囲の県道9号、44号、59号線から白鳥城山に入る車道があり東出丸下に駐車場がある。