案内板によれば、観応3年(1352年)小値賀島郡奉行近藤定秀の所属地となって代官所が設けられ、初代代官に近藤定秀の長子近藤太郎が任命されたのが始まりという。代官は近藤氏が数代続いたあと、末永氏が世襲したという。

続代官所は浜の浦南の山裾の辺りに築かれている。北側の道路沿いに道標が設置されており、たまたま見つけたのでよってみた。神社の参道のような階段があり、石垣が組まれて一段高くなった地に一軒の荒廃した建物がかろうじて建っている。神社の境内のような佇まいであるが、どこまでが代官所の遺構なのかわからない。