築城年代は定かではない。案内板によれば戦国時代に長谷部大蔵左衛門尉元信が翁山城を築いて丹下城から居城を移したという。

長谷部丹後守宗連は応仁の乱で山名持豊に属し、その子種連は永正8年(1511年)船岡山で討死した。

長谷部元信の時に毛利氏に従ったとされ、天文24年(1555年)厳島合戦では元信・元連父子は三浦房清の家臣三浦大蔵を討ち取る功を挙げた他、石見・出雲での合戦でも武功を挙げている。「萩藩閥閲録 巻127 岡忠兵衛」

翁山城は上下川の南岸にある標高538mの翁山に築かれている。現在山頂は翁山城跡公園となって案内板が建てられているが、テレビ塔や取り付け道路の建設により遺構の状態は余り良くないようである。

山頂は東西に長く、竪堀がいくつか設けられているようであるが薮化した所もあり明確なものは探せなかった。石垣は東へ降りていった所に若干残っているようである。

国道432号線を北上して上下高校の先で善昌寺を目指す。その先に翁山へ登る車道があり山頂まで行ける。