Le palais est le résultat d'une série de vicissitudes architecturales qui ont duré quatre siècles. Il fait partie des rares palais de Rome encore occupés par ses propriétaires et conserve une extraordinaire collection de meubles et d'œuvres d'art. Le cœur du palais remonte au milieu du XVe siècle et a été construit par le cardinal Nicolò Acciapacci.

Entre 1505 et 1507, le cardinal Fazio Santorio reconstruit entièrement le palais, mais le pape Jules II le force à le donner à la famille Della Rovere. Le bâtiment passa aux Aldobrandinis en 1601 puis à Olimpia Aldobrandini, qui épousa Camillo Pamphilj senior en 1647, avec ces derniers.

La partie la plus remarquable du bâtiment est celle travaillée par l'architecte Gabriele Valvassori entre 1731 et 1734. Il enrichit la façade du Corso et ferme la loggia supérieure de la cour de Bramante pour obtenir quatre ailes. Une aile a été transformée en galerie des miroirs. En 1651, Pamphilj, élu pape Innocent X, sanctionna la naissance de la galerie.

La collection de l'époque comprenait déjà le célèbre portrait du pape commandé à Velasquez en 1650. La ligne familiale directe de Pamphilj prit fin en 1760 et la succursale de Doria Pamphilj hérita du palais.

La Galerie a été déclarée indivisible et inaliénable en 1871, de même que les autres collections d'anciens administrateurs.