築城年代は定かではないが安倍頼時によって築かれたと云われ、その子廚川次郎貞任の居城となった。

貞任は前九年の役で源頼義・源義家の軍勢が攻め寄せ際には猿飛を岩石・丸太でせき止めて守りを固めていたが、頼義・義家の軍勢は裏手の軍沢に回り込み城を包囲して攻め立て、防戦かなわず衣川を目指して落ちていった。

その後は佐藤左衛門公清の居城となり、中世以降は大崎氏、伊達氏に属して代々続いた。

渕牛館は花山ダムの北側にある標高250mの山頂に築かれている。 主郭は山頂にあって東西二段で東が高くなっている。南へ伸びた尾根に堀切があり、その先端部分が物見のように小高くなっている。

本丸から南の物見に至る辺りまで山腹に横堀が巡らされている。西側の横堀は二重になっており、中間付近に虎口と見られる開口部と竪堀がある。

城山の北側を走る県道178号から城山の東下にある公園の駐車場に至る道がある。ここに案内板があり城山への遊歩道がある。