Palác je výsledkem řady architektonických obcíů, které trvaly čtyři století.Patří mezi mála Říma, které mají být stále obsazeny svými majiteli, a zachovává si mimořádnou sbírku nábytku a uměleckých děl.Jádro paláce sahá až do poloviny 15. století a byl postaven kardinálem Nicolò Acciapacci.

Mezi 1505 a 1507 kardinál Fazio Santorio úplně přestavěl palác, ale byl donucen papežem Juliusem II, aby ho dal rodině Della Rovere.Budova přešla na Aldobrandinis v roce 1601 a poté, když se Olimpia Aldobrandini oženila s Camillo Pamphilj senior v roce 1647.

Nejpozoruhodnější částí budovy je to, na kterém pracoval architekt Gabriele Valvassori v letech 1731 až 1734. Obohal fasádu na Corso a uzavřel horní logii Bramanteho nádvoří, aby získal čtyři křídla.Jedno křídlo bylo proměněno do galerie zrcadel.V roce 1651, Pamphilj zvolil papeže jako Innocent X, sankcionoval narození galerie.

Sbírka v této době již zahrnovala slavný portrét papeže pověřeného z Velasquezu v roce 1650. Přímá rodinná linie Pamphilj skončila v roce 1760 a větev Doria Pamphilj zdědil palác.

Galerie byla v roce 1871 prohlášena za nedělitelná a nezcizitelná spolu s dalšími kolekcemi bývalých věštců.