築城年代は定かではないが弘安年間(1278年〜1288年)に平賀氏によって築かれたと云われる。 平賀氏は藤原北家藤原房前の末裔で宗綱のとき出羽国平賀郡(平鹿郡)を領し、平賀氏を称したことに始まる。惟泰の子惟長が弟惟兼に加茂郡高屋保を譲り渡している。
応永10年(1403年)山名満氏が安芸国守護として下向してくると、安芸国人衆と対立し山名氏は御園宇城に攻め寄せた。これによって平賀弘章の子宗良、共益、惟益らが討死した。
文亀3年(1503年)平賀弘保は新たに白山城を築き居城を移した。
御薗宇城は比高30m程の台地の上に築かれている。 いわゆる館城で、中央に開けた空間があり、南を除く三方を高い土壇で取り囲んでいる。東西両サイドは分厚い土塁状の高まりで、北はさらに一段高い空間がある。
御薗宇城から県道に沿って北上した所に平賀氏墓地(県指定史跡)(地図)があり、平賀氏の菩提寺明堂寺跡とされ、平賀隆宗、平賀弘保などの墓碑がある。