築城年代は定かではないが岩松守純によって築かれた。
岩松氏は新田氏を継承していた名族であるが、金山城主岩松守純のころになると由良成繁の専横によって金山城を奪われ没落する。
天正18年(1590年)徳川家康が関東に入部さいして守純は家康に面会するが、不手際によって二十石を給されたのみであった。この時屋敷を構えたのが岩松陣屋である。
岩松氏は豊純、秀純と続き寛文3年(1663年)将軍家綱の時に百石を加増され、下田島に移ったという。
世良田公園の西側が陣屋跡で現在は水田と住宅地となっている。北から東にかけてやや低い部分があり堀跡とされている。