慶長7年(1602年)能勢頼次によって築かれた。 能勢氏は清和源氏頼光流で山県国直の子国基が能勢郡田尻荘の地頭となり能勢氏を称した。
室町時代には細川氏の被官となり、能勢頼則は芥川城主となった。能勢氏はその後、明智光秀の本能寺の変に加担したともいわれ、明智氏滅亡とともに能勢氏も滅亡、豊臣秀吉の時代にはこの辺りは薩摩島津氏の在京領として宛がわれた。
その後、能勢頼次が徳川家康に見出され、関ヶ原合戦では頼次が東軍に属して戦功があり、旧領を回復して地黄陣屋を築いた。
能勢頼次没後、嫡男頼重に三千石、次男頼高に千五百石、三男頼之に千石、四男頼永に八百六十石、五男頼平に蔵米三百石を分知した。嫡男頼重の家系が地黄陣屋を相続し江戸時代は旗本として明治まで続いた。
地黄陣屋は旧東中学校(2016年3月廃校)の所に築かれている。
西側や南側を中心に石垣が残されており、西中央に大手門跡がある。