室町時代末期に淡路の東岸に勢力を持っていた菅氏一族の館跡と伝えられ、菅遠江守とその子、菅越後守の居城であったという。
菅越後守は淡路十人衆の一人で、確認するのを忘れたが館の南にある真浄寺に墓が残っているという。
菅館は高倉山から東へ派生した丘陵の山腹に築かれている。 菅館は山腹に築かれた三段の平地で構成されていたようで、上段は観音堂のある平地、中段と下段は民家や畑になっている。北にある池に面して土塁があり、民家の入口付近にも土塁らしきものが残っている。
菅館の詰城が山田地区西側の「十郎山」山頂に設けられていたという。
真浄寺の少し北に西の山上に向かって伸びる道路がある。これを上まで登ると墓地と奥に観音堂があり、ここが上段。