築城年代は定かではないがに正治年間(1199年〜1201年)頃に二階堂刑部常信によって築かれたと云われる。
二階堂氏は葛西氏の家臣で衣川より移り沢辺氏を称して四代続いたという。 その後、この地が葛西氏から離れ大崎氏の所領となった為、二階堂氏はいったん岩井郡黒沢村の露館に移り、さらに下由田村の蒲沢館に移った。天正4年(1576年)葛西大崎合戦により、再び葛西氏の所領となると重光の時に再び臥牛館に移った。
天正18年(1590年)奥州仕置により葛西氏は改易となり、その後伊達氏に仕えた小野寺道行、道重、道貞の三代が臥牛館に住んだという。
沢辺館は三迫川の南岸にあり現在は臥牛館公園となっている。 本丸には八幡神社が鎮座し、北に三の丸、北東の公園になっている部分が二の丸という。
北の金成沢辺町から橋を渡って臥牛公園に至る車道がある。国道4号線沿いからも入る道があるが、北側から入る道のほうがわかりやすい。
最寄り駅(直線距離)