龍神氏の城で、現在も麓に城主の末裔が住んでおられ、系図を伝えているという。
島之瀬城は大きく蛇行して流れる南部川に沿って細長く伸びた丘陵に築かれている。
単郭の城で、地形に沿って東西に長い主郭Iがあり、東西両端を堀切で遮断している。南側には虎口と思われる窪みがあり、そこから堀切2の方向に通路が伸びている。
尾根の南東に神社に通じる道が切通になっているが、そこから登る道があり入口に標柱がたっている。ここまで道は舗装されているが駐車スペースがないので、どこかに置いて歩いてくるのが良い。
最寄り駅(直線距離)