築城年代は定かではないが平安時代末期に小代氏によって築かれたと云われる。 小代氏は武蔵七党の一つ児玉党の出自で入西(にっさい)相行の二男入西次郎大夫遠弘が小代郷に館を構えて小代氏を称した事に始まる。
宝治元年(1247年)宝治合戦の功により小代重俊は肥後国野原荘の地頭職に任ぜられた。文永8年(1271年)には鎌倉幕府より蒙古襲来に備えて野原荘へ下向するよう命ぜられ、 小代重泰(重康)らの兄弟が下向し、重俊は高齢であったため小代郷へ残り、弘安4年(1281年)に没している。小代郷に残った小代氏は越生氏に所領を売却するなど次第に衰退していったが、肥後へ下向した小代氏は肥後国筒ヶ嶽城を居城として肥後有数の国人領主に成長していった。
小代館は都幾川と越辺川との間に張り出した台地の東端に築かれていた。 青蓮寺のある所が、南東端付近とされ、「岡ノ屋敷」など複数の館があったとされる。 台地の北端付近には堀や土塁が残されているというが、未確認である。青蓮寺の境内には弘安4年の銘のある「小代重俊供養塔」(県指定文化財)がある。