築城年代は定かではないが禰寝氏によって築かれたと云われる。
天正2年(1574年)には禰寝氏の家臣税所篤長が守将であったが、肝付兼亮等によって攻められ落城、税所篤長は討死した。
瀬脇城は雄川河口の南岸に聳える標高87mの山頂に築かれている。
主郭は山頂にあって南端から北へ段々と削平地を連ね、その周囲に帯曲輪を数段巡らせている。北東下には広い削平地と高い切岸を備える曲輪が付いている。
山頂から北西方向に伸びた尾根にも削平地が連なる。谷間を登り切った所が空堀になり、そこから北西へ延びた尾根が二郭と思われ、わずかに土塁のような土盛りが残る曲輪から先端に向かって段々と連なる。ただ、畑として開墾されていたような跡もあり、どの辺りまで城域であったのかは不明である。
主郭から南西に伸びた尾根下は堀切はなく、やや幅広の窪地から南西尾根に向かって削平地が続いている。ただこの辺りは薮化が激しく、城郭遺構なのか畑地なのかは判断できない。
北麓にある港の所に「瀬脇城入口」の標柱が建っている。ここから山の谷間沿いに登る道が付いている。(地図)