築城年代は定かではないが江戸時代に徳川幕府によって築かれた。 伊庭御殿は江戸時代に将軍が京都へ上洛する際に休憩所として設けられた施設であり、その設計には小堀遠州が携わったという。

現在は愛宕神社の御旅所となり、道路に面したところに石垣が残り、東側に湧き水が残る。