築城年代は定かではないが入来院氏によって築かれた。 入来院氏は鎌倉時代中期に相模国渋谷庄司の渋谷光重が地頭職となり、その子定心が入来院地頭となって入来院を名乗ったことに始まる。
永禄年間(1558年〜1570年)入来院氏は島津氏に降り以後島津氏に従った。文禄4年(1595年)入来院重時は代々所領とした入来院の地を離れ、大隅国湯尾へ転封となった。慶長5年(1600年)入来院重時は島津義弘に従って関ヶ原合戦に参加し討死した。重時には嫡男がいなかったことから島津義虎の子で頴娃家の養子となっていた久秀が重国(後に重高)と名を改め入来院家の家督を継いでいる。
江戸時代に入り、慶長18年(1613年)入来院重国は湯尾から旧領である入来院に転封となり、以後入来院地頭として入来麓に仮屋を構え代々続いた。
清色城は入来麓である入来小学校の南西背後の山に築かれている。現在は国指定史跡となり遊歩道などが設置され整備されている。
清色城はシラス台地特有の台地を分断する深い空堀が迷路のように張り巡らされ、独立した曲輪群の集合となる群郭式山城である。このような城は九州南部に多く、鹿児島ではこの清色城、知覧城、志布志城などが特に規模が大きく整備も行き届いている。
清色城は本丸、中之城、松尾城、求聞持城、西之城などの名称が付いた曲輪群からなっており、西之城を除いた曲輪群を見学する通路が設けられている。清色城の入口は特に垂直にそそり立った壁が人一人通れる程の幅で通路となっており、この城の目玉である。
駐車場は入来麓見学用のものが用意されている。ここから入来小学校北の道路を西へ入って行くと登山道入口の案内板が見える。(地図)