築城年代は定かではないが寛正年間から文明年間(1460年〜1487年)に内ヶ島為氏によって築かれたと云われる。 内ヶ島氏は楠氏和田政氏の末裔といわれ、信濃国に住んでいたが内ヶ島為氏の時に飛騨国白川郷へ押し寄せて向牧戸城を築き、一向宗を討って北飛騨に勢力を拡大した。

天正13年(1585年)佐々成政の要請で越中国へ出兵している時に、羽柴秀吉の命によって越前国大野城主金森長近が飛騨国へ侵攻、留守を守っていた家臣の川尻備中守は長近の先導役となった。越中国へ出兵中の内ヶ島氏理は急拠帰国したが、金森氏はすでに飛騨国を制圧していただ、氏理は鍋島城へ赴いて降伏した。

しかし、天正13年11月29日の夜に天正の大地震がおこり、山が崩れて城下は一瞬にして壊滅、内ヶ島一族は滅亡した。

ある意味、飛騨国の城で一番有名なお城がこの帰雲城なのかもしれない。地震によって崩れた山は今尚その崩落した時の姿を残している。

当然城がどこにあったのかは定かではなく、山の崩れた場所や地勢・堆積土砂の状況から推測された地に、現在は石碑が建てられている。