正中3年(1326年)佐世清信によって築かれたと云われる。 佐世氏は佐々木頼清(湯頼清)の子清信が大原郡佐世郷を領して佐世氏を名乗った事に始まる。

佐世清宗の時代には尼子氏の家老衆として十二万石を領して威勢をふるったが、永禄8年(1565年)頃には毛利氏に降り、富田城攻めに毛利方として参陣している。

城は佐世川の西岸の城山に築かれており、現在は公園として整備されている。

県道24号線沿いに金剛山佐世城の道標が建つ。