築城年代は定かではないが平安時代末期に益田兼高によって築かれたと云われる。
元暦元年(1184年)源頼朝の呼びかけに応じて一の谷の合戦に参加し、翌年の壇の浦の合戦でも戦功を挙げた益田兼高は鹿足郡を除く石見国五郡を与えられ、那賀郡上府から益田に移った。益田に移ったときの最初の館がこの上久々茂土居とで、その後、兼高は大谷土居屋敷へ移ったという説があるが、確証はない。
上久々茂土居は蛇行して流れる益田川を見下ろす台地の上に築かれていた。 現在得豪寺のある一帯が屋敷跡で、お寺の南にある民家の脇に「土井殿の墓」と呼ばれる古墓が残っている。
現在国道191号線がこの台地の上を通っているが、このときのものか一部発掘調査が行われており、掘立柱建物跡や土坑・溝などを検出、中近世の陶磁器などの遺物も出土しているようである。しかし、いずれも初期の益田氏館跡に関連するものとは考えられていないようである。