築城年代は定かではないが平安時代に大蔵氏によって築かれたと云われる。
大蔵氏は東漢霊帝の血を引く帰化人とされる。
数代目の当主大蔵良長のとき継嗣なく、流罪となってこの地へ流れてきた関白藤原頼忠の三男経平に娘を娶せて大蔵家を継がせ、経平は加治木氏と名乗ってこの地に住んだと云う。加治木氏は以後有力国人としてこの地を治めていたが、明応4年(1495年)加治木久平は帖佐へ侵攻し平山城の南城を占領したが、高尾城に籠った川上忠直に防がれ、加治木侵攻に怒った島津宗忠昌の大軍に攻められ加治木城に帰還した。翌明応5年(1496年)島津忠昌が加治木城に押し寄せ久平は敗れて謝罪し許されたが薩摩国阿多へ移され加治木氏は没落した。
加治木氏の後は伊地知重貞が地頭となったが後に重貞も島津氏に叛いた為、大永7年(1527年)島津忠良が加治木城に攻め寄せ伊地知重貞・重兼父子は城中で自刃して果て、肝付兼演に加治木城は与えられた。
天文23年(1554年)蒲生範清は渋谷一族とともに島津氏に反抗し加治木城に攻め寄せた。島津貴久は加治木城を救援する為、岩剱城の祁答院良重を攻め、加治木城を取り囲んでいた蒲生軍が岩剱城を取り囲んでいた島津氏を討ちに戻ってきた所を激戦の末に打ち破り加治木城を救った。
文禄4年(1595年)加治木・日当山・溝辺のうち一万石が豊臣家の蔵入地となり、肝付兼三は喜入に移封となった。しかし、文禄・慶長の役での島津氏の功によって加治木は島津氏の所領に戻り、島津義弘が平松城より加治木へ移ったが加治木館を新たに築城した為、加治木城は廃城となった。