中世には小野浄知(智)の子孫の居城があったという。
慶長19年(1614年)小堀遠州が大坂冬の陣に備えここに屋敷を構え、倉敷湊から大坂への兵粮米輸送を行ったのが始まりという。江戸時代初期は備中松山藩領であったが、寛永19年(1642年)に天領となり本格的な代官所が設けられ、運河を利用した海運により発展した。
慶応2年(1866年)倉敷の元村役人で奇兵隊に加わっていた立石孫一郎が、奇兵隊百名余りを率いて倉敷代官所を襲い灰燼と化した(倉敷浅尾騒動)。明治維新後、倉敷県庁が置かれたが統廃合により深津県となりその役目を終えた。
倉敷の有名な観光地である「倉敷美観地区」に代官所はあった。現在の倉敷アイビースクエアのある場所で、堀と井戸の跡があり、案内板と石碑が建てられている。