天正18年(1590年)内藤正成によって築かれたと云われる。 天正18年(1590年)徳川家康の関東入部に従い三河国幡豆郡から武蔵国埼玉郡へ移り、五千石を知行した。
内藤正成は家康の父松平広忠からの旧臣で、江戸時代になってからも大身旗本として明治まで続いた。
下栢間陣屋は現在の栢間小学校の地に築かれており、規模は現在の小学校とほぼ同等で二重の堀が巡らされていたという。
現在は遺構はないが、小学校の南側の道路沿いに案内板が設置されている。陣屋の裏門が菖蒲城跡のあやめ園に移築され現存している。
南にある善宗寺は内藤正成が開基で、旗本内藤家累代の宝篋印塔が残る。
裏門(移築 城門)