築城年代は定かではないが雨森氏によって築かれたと云われる。 雨森氏の出自は詳らかではないが、湖北四家の一つに数えられた。
戦国時代には雨森弥兵衛清貞がおり、海北綱親・赤尾清綱とあわせて「海赤雨の三士」と賞された。雨森氏は浅井氏が滅亡すると阿閉氏に従っていたが、阿閉氏も明智光秀に荷担して山崎合戦で滅亡し、雨森清次は渡岸寺村に蟄居した。
江戸時代に対馬藩に仕えた儒学者雨森芳洲は、この地に代々続いた雨森氏の後裔である。
雨森城は現在の雨森芳洲庵(東アジア交流ハウス)に築かれている。 雨森芳洲に関する展示が行われているが、その周囲には土塁が残されている。