朝日山城を詰城とした岡部氏の居館である。 岡部氏は藤原南家工藤氏の末裔で清綱は駿河権守の任期が切れても京へ戻らず岡部郷に土着して岡部氏の祖となったという。
岡部氏館は朝日山城の東麓にある仮宿の地にあった。現在は水田地帯となっており遺構は残っていないが、かつて館の四隅に祀ったあったという祠のうちの一つが現存する。かつては三つ残っていたとされるが現在は一つしか現存しておらず、この祠がどの方角に位置したものかはわからない。
岡部氏の菩提寺であった万福寺には五輪塔が残っているとのことだが、現在は廃寺となっていて周囲を探してみたが見つけることができなかった。