詳細不明。武田氏一族の伴氏の居城と伝えられる。 伴氏は安芸武田氏の庶流で南北朝時代頃に分流したといわれ、武田家中でも一門として勢力を持っていた。
安芸武田氏の末期には伴氏は武田氏を離反して大内氏に従った。天文10年(1541年)当主武田信実不在の銀山城が開城となった後、武田氏家臣が伴城に立て籠もり大内方と戦いが行われ落城した。天正11年(1583年)大内義隆が出雲の尼子氏攻めの遠征中に伴氏が謀叛を企てたが、大内氏の命により毛利元就が伴氏を攻め、伴氏は滅ぼさせた。
伴城は川に面して小高くなった丘陵に築かれていたというが、現在は宅地造成にともない山自体が消滅している。奥畑川に面した地に「城三田」という地名が残り、伴氏の菩提寺と伝えられる長福寺跡(廃寺)には五輪塔群(写真は伴北城参照)がある。
「広島県中世城館遺跡総合調査報告書」によれば、比高30m程の小山で周囲には八条の竪堀を設けていた。頂部に南北に長い削平地が東西に二段、西下に三角形の曲輪、北下に東西に長い長方形の曲輪があったようだ。礎石建物が一棟以上、柵列、ピットが多数道狩、土師質土器の破片とかぶと二つが出土した。遺物や文献などから15世紀から16世紀初め頃に機能していたと考えられている。