築城年代は定かではないが弘治3年(1557年)頃に杉元相によって築かれたと云われる。
杉元相は、はじめ隆相と名乗り大内氏の家臣であったが、陶晴賢が厳島合戦で毛利元就に敗れた後、毛利氏に降り毛利隆元の諱を賜り元相と名乗った。弘治3年(1557年)野上荘を領して金剛山の麓に屋敷を構えた。これが杉家屋敷である。
天正13年(1585年)元相が没すると元宣が家督を継いだ。元宣の室は児玉元良の女であったが、美人の誉高く早くから毛利輝元の目にとまっていたという。佐世元嘉は輝元の歓心を得ようと杉山元澄に命じて妻を奪い、輝元の側室にしてしまう。これに激怒した元宣は九州の陣を引き払って戻ろうとしたが、事の重大さに気付いた小早川隆景によって謀殺された。天正17年(1589年)のことである。この時側室となった「二の丸様」は輝元との間に二子をもうけた。一人が輝元のあとを継いだ秀就、もう一人が徳山毛利家の祖となった就隆である。
杉家屋敷は現在の徳山動物園の辺りに築かれていたという。この辺りはその後、徳山藩の陣屋が置かれていたところで、現在は遺構はないが、動物園の第一駐車場の所に杉家屋敷の案内板と石碑が建っている。
杉氏の詰城は一の井手城とされ、近くの興元寺は杉氏の菩提寺で杉元相・元宣父子の墓が残っている。写真は一の井手城を参照。