築城年代は定かではないが明徳元年(1390年)頃に村上師清によって築かれたと云われる。
村上師清は後期村上氏の祖とされる人物で、師清の孫の代で能島・来島・因島の三家の村上氏が興った。このうち能島村上の祖が村上雅房で、伯方城を居城とした。
伯方城はいわゆる複合城塞であり、伯方本城を中心に獅子ヶ城や金ヶ崎城など複数の支城を築いていた。
伯方本城はおそらく伯方小学校の東、市役所支所の北側辺りと思われるが、雨天のため現地を見ていないのではっきりしない。
伯方城の案内板は村上氏の菩提寺である禅興寺にあり、この近くに能島村上氏の祖村上雅房の墓がある。