築城年代は定かではないが宇佐公通(うさきんみち)によって築かれたと云われる。
宇佐公通は宇佐神宮大宮司で平清盛の娘を娶っていた。源平合戦のとき、屋島合戦で敗れた平家は安徳天皇を奉じて宇佐公通の館に滞在、このとき源氏に備えるために城郭として整備され森山城と呼ばれたという。
宇佐神宮の荘官であった緒方三郎惟栄が平家を裏切り源氏に味方したことから宇佐神宮などが焼き打ちにあった。
森山城は現在安楽院の境内となっている。現状では方形区画の居館で周囲に土塁と堀が巡っている。南の県道沿いに「安楽院 宇佐公通館跡」の標柱が建っている。
南の山門を入って左に宇佐公通館の墓とされる五輪塔がある。