築城年代は定かではないが室町時代に沢木宗政によって築かれたと云われる。 延文5年・正平15年(1360年)周防国の佐脇宗喜が伊勢国守護仁木義長に属して、その子宗政が築いたとされる。
弘治3年(1557年)近江国六角氏家臣小倉三河守が伊勢に侵攻し、千種勢とともに柿城を取り囲んだ。神戸勢はこれを救援するが、神戸家臣の岸岡城主佐藤中務丞・又三郎父子は六角氏に通じて神戸城を奪ったが、まもなく神戸城は奪還された。
現在は周辺が住宅地として区画整備されるなか、公園として存続している。朝日駅近くの史跡案内地図には載っているが、是非案内板を設置して頂きたいものである。
二の丸、三の丸もあったらしいが、現在残っているのは本丸部分だけで、わずかに土塁跡が残っている。