文安元年(1444年)古市氏によって築かれた。
興福寺衆徒の古市氏が筒井氏に備えるために築いたのが鬼薗山城である。鬼薗山城のある丘陵が興福寺境内であったことから、東に隣接する西方院山城が築かれたが、その後、当初の計画のとおり鬼薗山城が築かれた。
翌文安2年(1445年)には筒井方の成身院光宣によって攻められ自焼して落城したが、その後成身院光宣によって修築され光宣が在城した。
長禄2年(1458年)鬼薗山城は廃城となり、建物の撤去と破城が行われたという。
鬼薗山城は現在の奈良ホテルのある丘陵に築かれていた。
奈良ホテルは明治に開業されたため、鬼薗山城の遺構ははっきりしなかったが、1991年に丘陵西側がマンション建設のために削られることになり、それにともなう発掘調査で堀切が検出されてる。