築城年代は定かではない。嘉吉2年(1442年)十三湊の安東盛季(下国)が南部氏によって攻められ、蝦夷に退去するときに柴崎城に立ち寄ったと云われる。

柴崎城は小泊港の西側にある神明宮の辺りに築かれていたと云われる。神明宮境内が本丸とされ社殿奥に大きな標柱が建っている。

林道の終点にある駐車場から境内に入る部分に切岸と堀状地形があるが、『日本城郭大系』によれば、これは神社が整備されたときに造られたもので遺構ではないという。

南の県道から林道を経て神明宮に行くことができる。