築城年代は定かではない。
元亀元年(1570年)浦上・宇喜多勢は毛利方の幸山城主石川氏領に侵攻し、さらに児島に進出して鼻高山城を味方につけた。翌元亀2年(1571年)毛利氏は備中猿掛城主庄元資、備中松山城主三村元親を差し向けて鼻高山城を攻略し、細川通薫らを入城させて守られた。
鼻高山城は西方寺の南背後にある山上に築かれている。
山頂の主郭Iを中心に南北に小規模な腰曲輪を備えている。主郭には丸瓦、平瓦が確認できるがいつの時代のものかは不明。特に基壇のようなものは確認できない。
主郭から北へ伸びる尾根に浅い堀切1が確認できる。南西背後は鉄塔があり斜面も風化していて判然としないが竪堀状の溝は何本か確認できる。また現在の登山道が到達している尾根部分には堀切状地形3があるが、切通の可能性が高い。
西方寺の裏に西方寺霊園がある。この向かいの谷の入口に標柱がたっていて入口に駐車可能。そこからため池脇を超えて南背後の尾根に登って行く道があり、鉄塔まで続いている。
最寄り駅(直線距離)