詳細不明。乃美氏の城と伝えられ、『芸藩通志』では乃美隆興、景興、元興三代の城とする。
乃美茶臼山城は板鍋山の西にある標高650m程の山に築かれており、現在は登山道が整備されている。
南北に長く伸びた山頂部に堀切を挟んで南北二郭の曲輪がある。北が主郭で側面に帯曲輪や通路らしき細長い曲輪があり何ヶ所か虎口らしき部分がある。南の鞍部に降る辺りにも溝があるが堀切なのか竪堀なのか不明である。
板鍋山との間を抜ける舗装された山道の途中に茶臼山城の案内板がある。この分岐からさらに山道を進むと終点に登山口があり駐車場もある。