築城年代は定かではないが隈部氏によって築かれた。 隈部氏は大和源氏宇野氏の末裔で菊地氏に仕え隈部の名字を与えられたと云われる。
隈部氏は菊池家臣団において城氏や赤星氏らと並び重要な地位にあった。菊池氏が没落すると大友氏や龍造寺らと結んで勢力を拡大し、天正6年(1578年)には赤星氏を隈府城から追放し、隈府城を本城として移った。
隈部氏はその後、肥後に入封した佐々成政に従ったが、隈部親永は成政の検地に反発して挙兵する。これが肥後国人一揆の発端となったが豊臣秀吉が派遣した援軍に降り、隈部氏は滅亡した。
隈部館は詰城である猿返城から南西に伸びた尾根に築かれており、現在は隈別を祀った隈部神社の境内となっている。
主郭は広く庭園跡や礎石建物跡が残る。この主郭の北端に隈部神社が鎮座する高台があり、櫓台のようである。この背後に堀切を一条も受けて尾根を遮断し、神社側面にも竪堀を入れている。
主郭の虎口は石垣造りの枡形で、その南にある伝馬屋は枡形と土橋で繋がり、直線ではあるが馬出しの機能を備える。
道標が随所に建っており、それに従って行けば駐車場にたどり着く。
隈部氏墓所は館の北側にありそこも車で行くことができる。