Der Palast ist das Ergebnis einer Reihe von architektonischen Wechselfällen, die vier Jahrhunderte andauerten. Es gehört zu den wenigen Palästen Roms, die noch von seinen Besitzern bewohnt werden, und bewahrt eine außergewöhnliche Sammlung von Möbeln und Kunstwerken. Der Kern des Palastes stammt aus der Mitte des 15. Jahrhunderts und wurde von Kardinal Nicolò Acciapacci erbaut.

Zwischen 1505 und 1507 baute Kardinal Fazio Santorio den Palast komplett neu auf, wurde jedoch von Papst Julius II. gezwungen, ihn der Familie Della Rovere zu übergeben. Das Gebäude wurde 1601 an die Aldobrandinis übergeben und dann, als Olimpia Aldobrandini 1647 Camillo Pamphilj senior heiratete, an letzteren.

Der bemerkenswerteste Teil des Gebäudes ist der Architekt Gabriele Valvassori, der zwischen 1731 und 1734 gearbeitet hat. Er hat die Fassade des Corso bereichert und die obere Loggia des Innenhofs von Bramante geschlossen, um vier Flügel zu erhalten. Ein Flügel wurde in die Galerie der Spiegel verwandelt. 1651 wählte Pamphilj den Papst zum Innozenz X. und genehmigte die Geburt der Galerie.

Die Sammlung enthielt zu dieser Zeit bereits das berühmte Porträt des Papstes aus Velasquez, das 1650 in Auftrag gegeben wurde. Die direkte Linie der Pamphilj-Familie endete 1760, und der Doria Pamphilj-Zweig erbte den Palast.

Die Galerie wurde 1871 als unteilbar und unveräußerlich erklärt, zusammen mit den anderen Sammlungen von Ex-Treuhändern.