建長5年(1253年)渡辺秀持によって築かれたと云われるが定かではない。 渡辺氏は早川氏とも称して阿蘇氏の家臣として代々居城したという。
天正8年(1580年)御船城主甲斐宗運が隈庄城主甲斐守昌を攻めた時、宗運の援軍として参陣した武将に早川吉秀、渡辺吉久の名がある。
城は西福寺の南にあり、東の山から西へ突き出した小山に築かれている。
西福寺から山への入口付近に井戸があり、そこから堀底道が延びている。山は全体的に段々となった平坦地があるが、土塁などは見当たらない。
西福寺から山へ入る道がある。