慶長8年(1603年)山岡景友によって築かれたと云われる。 景友は関ケ原合戦の功などによって常陸国古渡一万石の大名となり築いたのが古渡城とされる。しかし、景友は同年に没し、嫡子が幼かったことから改易となり、山岡家は甥の景以が養嗣子となって三千石を継いだ。
山岡氏に変わり、慶長8年(1603年)関ヶ原合戦で改易となっていた丹羽長重が常陸国古渡一万石を与えられ大名として復活した。元和5年(1619年)には大坂の陣の功によって二万石に加増され江戸崎へ、元和8年(1622年)には棚倉五万石、寛永4年(1627年)には白河小峰十万石へと加増転封された。丹羽氏はその後二本松城へ転封となり明治まで続いている。
古渡城は小野川が霞ヶ浦に流れ込む地点に築かれていた。
智福寺の北西に弁財天が祀られており、その前に案内板が設置されている。主郭はこの南側で宅地や畑などになっており、遺構は土塁と思われる僅かな高まりや堀の名残りと思われる溝がある程度である。