築城年代は定かではないが岩松守純によって築かれた。

金山城主岩松守純は由良成繁の専横によって金山城を奪われ没落する。 その後、徳川家康が関東に入部すると守純は家康に面会する。家康は新田氏の系図を譲るように要求するが、守純はこれを拒否し、捨扶持二十石を給された。この時屋敷を構えたのが岩松陣屋である。

岩松氏は豊純、秀純と続き寛文3年(1663年)将軍家綱の時に二百石を加増され、下田島に移ったという。

世良田公園の西側が陣屋跡で現在は水田と住宅地となっている。 主要部は民家が建っている所だと思われるので立ち入っていない。水田の中にぽつんと土塁跡のような高まりが残っている。