保元3年(1158年)平元衡によって築かれたと云われる。 元衡は安芸判官基盛の孫で、平薩摩守信基(基盛の子)が保元の乱の軍功により、薩摩国牛屎院と祁答院を賜り、信基の四男元衡が牛屎院に下向して院司となり大口城を築いたという。
その後、牛屎氏(うしくそ・うぐつ・ねばり・ごゆこん等読みは説が多い)を称していたが、戦国時代になると太良城の菱刈氏と肥後の相良氏が結んで攻め入り、牛屎氏は大口城を追われた。
永禄10年(1567年)菱刈隆秋が島津氏から離反すると、島津貴久は大軍を率いて馬越城を攻め落とした。馬越城が落城すると、菱刈一族は大口城に集結し肥後相良氏に援軍を求めて抵抗した。しかし、永禄12年(1569年)菱刈隆秋は相良氏を通じて島津氏に降り、隆秋は人吉へ去った。
その後、島津氏は大口城に新納忠元を置いて肥後に備えるとともに、初代地頭となり江戸時代の大口麓へと繋がっていく。
古来牛屎院と呼ばれたこの地は、天正年間(1573年〜1592年)頃に「牛山」と改められた。
大口城は大口小学校の東背後にある南北に長い丘陵に築かれている。 小学校の校門脇に「大口城址」と「御仮屋跡」の標柱が建っている。
城山への登り口は小学校の奥にあり、たまたま先生がおられたので許可を得て登ることができた。山上は部分的に草木が伐採されて公園ではなさそうだが整備されている。
曲輪ははっきりしないが、南北に広大な平地があり、部分的に土塁と内側に溝が残る。 また西側に南北に空堀が伸びている。山上からの道は北側へ階段となって降りているが、途中で道がわからなくなり、どこへ出ているのわからなかった。
付近には新納忠元夫妻の墓や新納忠元を祀った忠元神社が残る。こちらは大口麓を参照。