築城年代は定かではないが柳沢氏によって築かれたと云われる。 柳沢氏は柳原大納言藤原資明の後裔を称している。

天文年間(1532年〜1555年)に柳沢隼人佐直孝が柳沢と草香を領して三好長慶に従い、淡路十人衆の一人であった。その後、柳沢直勝、柳沢越前守直盛と続いたが、天正9年(1581年)直盛のとき織田信長の命により淡路に侵攻した羽柴秀吉らの軍勢に降伏した。

柳澤城の位置は残念ながらよくわからなかった。城郭大系によれば、「柳沢東部の舌状丘陵先端にある。西端を「的場」、そのま北西向かいの丘陵を「向殿」と呼ぶ」とある。 この地図で示している場所は「柳沢城の物見台」と呼ばれる地で、おそらくこの山の北の先端付近に柳沢城があったのではないかと思われるが、麓からみるかぎり畑となっているようである。

柳沢隼人佐直孝が勧請したという岩上神社を目指せば物見台の入口にある道標に至る。