築城年代は定かではない。浅井氏の家臣渡辺氏の居館で、渡辺周防守は浅井長政とともに小谷城で討死したという。その子孫は秀吉に仕え、天正年間(1573年〜1592年)末に家臣の赤井氏を連れてこの辺りに移住してきたという。
高田館は高田集落の南にある兵主神社の北側にある宅地一帯であった。「滋賀県中世城館調査報告」によれば、「現当主は十四代目に辺り…」とあるので現在も子孫の方が住んでいるのだろう。
宅地なので道路から見るだけだが、土塁の上に祀られているのが八幡様であろうか。左から手前に掛けて堀が回っているようである。