築城年代は定かではないが小笠原氏によって築かれたと云われる。
石見小笠原氏は清和源氏で阿波小笠原長房の子、小笠原長親が石見国邑智郡村之郷を賜ったことに始まる。長親は七尾城主益田兼時の娘を迎え川本周辺の地を譲られている。
小笠原氏が当初居城としたのは赤城とされ、その後に温湯城が築かれて本城とし、赤城は出城となった。一説に赤城は三代代小笠原長胤、温湯城は四代小笠原長氏の頃と云われている。
建武2年(1335年)足利尊氏が反旗を翻すと、小笠原氏は七尾城主益田兼見とともに北朝方として戦った。
永禄元年(1558年)吉川元春によって攻められると、小笠原長雄は温湯城に籠城し尼子の援軍を待ったが、尼子の援軍が江の川を渡れず引き上げたこともあり、翌永禄2年(1559年)に開城・降伏した。 毛利氏は小笠原氏の所領を江の川の北側へと替え、温湯城のある辺りは吉川領となり替え地として伊田・羽住(波積)を与えた。
小笠原長雄は温湯城を追われると弥山城を居城としたが、天正10年(1582年)に丸山城を築き居城とした。
小笠原氏の菩提寺は湯谷にある長江寺(写真は丸山城を参照)であるが、これは元々川本町内にあったもので、江の川以北に移ったときに菩提寺も移されたという。「漠頭玉枕」という秘宝があり、これは小笠原長隆が室町将軍足利氏から拝領したものと伝えられている。