築城年代は定かではないが鬼柳氏によって築かれたと云われる。 鬼柳氏が丸子館から移した居城がこの鹿島館だと推測されており、天正20年(1592年)「諸城破却御書」にある「南部の内和賀郡鬼柳平城破却、南部主馬持分、代官鬼柳四郎」とある。

最後の城主は鬼柳伊賀守盛正と推測されており、慶長5年(1600年)岩崎一揆に参加している。

鹿島館は正覚寺の南の丘陵に築かれている。一部砂利採取によって破壊されているが、空堀と土塁で区画された曲輪が良好に残っている。

正覚寺の墓地に案内板が設置されている。