詳細不明。地元に残る伝承として谷内豊後守(谷口豊後守とも)の名を伝えるのみである。

西側にある天正寺は小山田越中守信有の娘が開祖とされ、この与縄館との関係にも注目されている。

与縄館は朝日川の南岸の山裾に築かれている。 山裾に南北に空堀が二条あり、その空堀で区画された曲輪が東西に三つ並んでいる。 主郭はその中央と見られているが、現在は開墾されて畑となり、土塁などは残っていない。

朝日川沿いを走る県道35号線は与縄地区で橋を渡るが、その西側に集落内に入る道がありそれを南下する。奥にある黄色い建物の日彫都留配送センターの先で左右に道がわかれるが、左へ曲がり進んで行くと左下に広がる畑が見え、ここが館跡である。