文久3年(1863年)岡山藩によって築かれた台場の一つである。 祇園下台場は下津井港周辺に築いた本台場三カ所の内の一つで中央に位置する。
祇園下台場は下津井港にやや張り出すような地形にあり、祇園神社の東麓に築かれている。
台場跡の周囲は多角形の石垣が巡らされ、北側に坂道が付いている。この坂道の所に「御台場址」の石碑が建っているが、内部は空き地のようで特にめぼしい遺構は見えない。周囲の石垣が台場の遺構なのかどうかはわからないが、「城郭・陣屋・要害台場辞典」では「遺構は見いだし難い」としているので後世のものだろうか。