築城年代は定かではない。 南北朝時代には名和長宗が菊地氏の家臣として在城したといい、その後、大津山氏の持ち城となった。
天正7年(1579年)(一説に天正5年)佐嘉の龍造寺氏は和仁城、長坂城を落として肥後国に侵攻し、交通の要衝である南関の大津山氏を攻めた。大津山資冬は大津山城を捨てて神尾城へ退いて龍造寺軍と対峙し、攻めあぐねた龍造寺軍は南関を確保できたこともあり撤退したという。
天正15年(1587年)佐々成政による検地に反対して起こった国人一揆では大津山資冬の子家稜(家直)がこの城に逃げ込んだという。
神尾城は神尾神社のある山に築かれ、登る途中には大友氏家臣の吉弘氏の墓所がある。これは大友氏滅亡後加藤清正に仕えて肥後にきた吉弘正久以下五代の墓所という。