Pałac jest wynikiem szeregu perypetii architektonicznych, które trwały cztery wieki. Jest jednym z niewielu pałaców Rzymu, który nadal jest okupowany przez jego właścicieli i zachowuje niezwykłą kolekcję mebli i dzieł sztuki. Trzon pałacu pochodzi z połowy XV wieku i został zbudowany przez kardynała Nicolò Acciapacciego.

Między 1505 a 1507 rokiem kardynał Fazio Santorio całkowicie przebudował pałac, ale został zmuszony przez papieża Juliusza II do przekazania go rodzinie Della Rovere. Budynek przeszedł do Aldobrandinis w 1601 roku, a następnie, gdy Olimpia Aldobrandini poślubiła Camillo Pamphilj starszego w 1647 roku, do drugiego.

Najbardziej znaną częścią budynku jest dzieło architekta Gabriele Valvassoriego z lat 1731–1734. Wzbogacił on fasadę na Corso i zamknął górną loggię na dziedzińcu Bramante, aby uzyskać cztery skrzydła. Jedno skrzydło zamieniono w Galerię Luster. W 1651 r. Pamphilj wybrał papieża na Innocentego X, usankcjonował narodziny Galerii.

Kolekcja w tym czasie zawierała już słynny portret papieża zamówiony w Velasquez w 1650 roku. Bezpośrednia linia rodziny Pamphilj zakończyła się w 1760 roku, a oddział Doria Pamphilj odziedziczył pałac.

Galeria została uznana za niepodzielną i niezbywalną w 1871 r. wraz z innymi zbiorami byłego powiernika.