築城年代は定かではないが渋谷東郷氏によって築かれた。
東郷氏は鎌倉時代に地頭として下向してきた渋谷氏の一族で、付近の祁答院氏、鶴田氏、入来院氏、高城氏も渋谷氏一族である。
元亀元年(1570年)東郷氏と祁答院氏は島津氏に降り、東郷氏は旧東郷領のみを安堵された。
東郷重尚は島津家久の子を養子に迎えて東郷重虎と名乗らせたが、重虎はのちに佐土原へ移り島津忠仍と改名、後年には東郷姓に戻している。
鶴ヶ岡城は本丸、二の丸、国見丸など複数の曲輪群を備えた大きな城であった。
谷の口公民館前に案内板が設置されており、そこから入ると国見城と呼ばれる曲輪群に至る。本丸へはそこからさらに奥に入った所にあり、巨大な土塁や空堀が確認できるが、鬱蒼と茂っている。