築城年代は定かではない。城主は宇都宮左近尉乗綱で野村殿と呼ばれた西園寺十五将の一人であった。
のちに宇都宮乗綱は鎌田城へ移り、城代を緒方氏が務めたが、天正9年(1581年)鵜呑みや直綱が長宗我部氏に内通していたため西園寺氏に攻められ、以降野村の支配は緒方氏に任された。緒方氏は宇和島に入部した藤堂氏の家臣となり、伊勢転封に従って移ったという。
白木城は肱川とその支流である片川、富野川の間に聳える標高356.8mの山に築かれている。
北西が南東へ細長く伸びた山頂部に堀切で区画した曲輪群を配した500m弱の規模の山城である。
主郭は三角点のある最高所で北西側を大きな二重堀切で遮断し、南東下に城内で最も広い二郭を配す。南東端は切岸の下を弧状に空堀を設けており、三日月堀と呼ばれた横堀を配している。
北西の二重堀切の外側にも曲輪が連なっていたようだが、この部分は林道によって一部破壊されている。北西端の鞍部部分に「一の堀」と書かれた案内板があり、北側はよくわからなくなっているが、南下には堀底の幅が7m近い大空堀が残っている。
主郭の近くまで林道があり、通常であれば普通車でも問題なく行くことができる。ただ、今年の豪雨災害の影響で林道は土砂で一部が埋まった状態であった。
北東の平野集落側と南西の次之川集落側からともに道が付いているようである。平野集落側には「古屋敷」や「源太」など地名の案内板が多数掲げてあった。