築城年代は定かではないが永正年間(1504年〜1521年)頃に京極高清によって築かれたと云われる。北山腹にある上平寺城を詰城とした平時の館。
京極氏上平館は上平寺集落の北山腹に祀られた伊吹神社の境内を最高所とし、その下段に京極氏の庭園跡が残る。伊吹神社の参道は鋭角に折れて登っていく道となっており、この参道の両脇に家臣団の屋敷跡があり、集落の入口に一ノ門跡がある。
参道両脇に広がる屋敷跡には「御屋形」、「弾正屋敷」、「蔵屋敷」、「隠岐屋敷」、「厩」などの地名が残されている。
南側にはさらに国人衆の若宮氏、加賀氏、浅見氏、黒田氏、西野氏などの屋敷跡があった。