築城年代は定かではない。城主は後藤九左衛門善心で武田方となっていた永禄5年(1562年)今川氏の渡辺平内次らによって攻められ落城した。
今川氏が没落すると再び武田氏に属していたが、永禄12年(1569年)徳川家康方の作手奥平貞能、名倉奥平信光らによって攻められ落城、善心と長男次男は討死、三男は信濃に逃れたという。
白鳥山城は白鳥神社前の山腹にあったといわれるが、その所在は定かではなく、忠魂碑下のあたりと推測されている。現在薬師堂入口付近に後藤善心の塔と案内板が設置されている。
白鳥神社に駐車場がある。