築城年代は定かではないが室町時代に杉氏によって築かれたと云われる。
野上荘一帯は陶氏の家臣野上氏が領していたが、野上氏は陶氏とともに滅び、代わって毛利氏に降った杉元相(隆相)が領した。
天正13年(1585年)元相が没すると子元宣(通称小次郎)が継いだが、元宣は天正17年(1589年)に没し断絶となった。
元宣の室は児玉元良の女であったが、美人の誉高く早くから毛利輝元の目にとまっていたという。佐世元嘉は輝元の歓心を得ようと杉山元澄に命じて妻を奪い、輝元の側室にしてしまう。これに激怒した元宣は九州の陣を引き払って戻ろうとしたが、事の重大さに気付いた小早川隆景によって謀殺されたという。この時側室となった「二の丸様」は輝元との間に二子をもうけた。一人が輝元のあとを継いだ秀就、もう一人が徳山毛利家の祖となった就隆である。
城は杉氏の菩提寺である興元寺から国道を挟んで東側にある山に築かれている。
現在城山はかなり削られてしまっているようである。