築城年代は定かではないが慶長年間(1596年〜1615年)に島津義弘によって築かれたと云われる。 義弘は文禄の役の後、帖佐館・平松城と移り、慶長12年(1607年)加治木館へと移った。

加治木館は義弘在城当初は現在の加治木高校一帯に築かれていたが、義弘没後に島津家久(忠恒)によって現在の柁城小学校の地にも増築され、加治木高校一帯を東の丸、増築した側を西の丸と称した。その後は加治木島津家の居所として代々続き明治に至る。