築城年代は定かではない。南東にある周匝茶臼山城と一帯の城とされる。
大仙山城は茶臼山から北へ派生した尾根の先端頂部に築かれている。現在は茶臼山城の駐車場から遊歩道が整備されており、見学し易い山城となっている。
主郭は山頂中心で一段小高く方形に近い形となる。南にさらに小高い段があり、社が祀られている。この城にはため池のような窪みがたくさんあり、一部には今でも水が湧いている。
主郭をほぼ囲繞する形で曲輪IIがあり、概ね土塁がついて南側には二ヶ所の張り出しがあるが、櫓台ほどの広さはない。西中央に大手となる虎口1が開口し、外側には小さな石が若干張り付いている。
北尾根は土塁囲みの曲輪IIIがあり虎口3がある。北尾根は堀切1で遮断している。
東尾根は曲輪IV、Vの二段でこちらも土塁囲みとなり虎口2がある。基本的にこの城は土塁を伝って各曲輪間を移動していたようである。
東は吉井川に面して天然の要害となっていることから、堀などの防御施設は西から南に集中している。西の谷にむかっては20条弱の畝状竪堀群2がある。南尾根側は切岸下方に横堀6があり、鞍部は実質幅広の堀切になっている。横堀6の南西下にも竪堀4で区画された横堀3と5がある。大手筋はわからないが、西の谷筋から南鞍部に登り詰め、横堀6と5の間を虎口1に入るルートが想定できる。
この城にある遺構として特徴的なのが、南尾根にある連続堀切8、9、10である。この堀切群は大堀切8を中心に南北に浅い連続堀切群がある。北側は堀切8に面して土塁となっていることなどから、もともと曲輪であったところを堀切で切り刻んだ遺構だと想定していたが、今回図面を書くにあたって精査したところ、側面や北先端に切岸が確認できず、曲輪だったという想定は低くなったと感じた。
城山公園の第一駐車場と第二駐車場の間から遊歩道が設けられている。ロープが張られた簡易の遊歩道が設置されており、遺構の説明がなされた小さな看板もあり、わかりやすく展示されている。