宝徳2年(1450年)朝山越前守貞昌によって築かれたと云われる。 朝山氏は延喜式内社である佐太大社の神主を兼帯しており、貞昌のとき池平山城からこの廬山城へ居城を移したという。
天文19年(1550年)朝山越前守綱忠は海老山城主新田右馬頭泰国と佐太神領を巡って争いとなり、海老山城を攻め落として新田氏を滅ぼした。
永禄5年(1562年)朝山貞綱のとき、出雲に侵攻してきた毛利氏と戦って敗れ、一族の多くが討死し、一時断絶となった。その後、慶綱が朝山家を再興して以後武事を断ち、佐太神社の神主として続いたという。
廬山城は佐太神社の北方、佐蛇川西岸に聳える比高50m程の丘陵に築かれている。
『島根県中近世城館分布調査報告書』に縄張図か掲載されていないので、遺跡範囲とされる丘陵の北側を主に歩いてみた。北西の最高所の部分は平坦地ではあるものの切岸はなく、南に浅い溝があるが、堀切とする程明瞭な遺構ではない。
東へ続く尾根を下ると南北に切通した山道があり、そこから東上に登る事ができる。西側には堀切状の溝があり、尾根上は平段で東に向かって続いているものの、荒れ果てた竹藪が折り重なっており、思うように進めず散策は断念した。『島根県中近世城館分布調査報告書』では遺構を曲輪のみとしてあるので、堀切状の溝は遺構ではないかもしれないが、周囲には民家もあり山は開墾されていた可能性もある。