Het paleis is het resultaat van een reeks architecturale wisselvalligheden die vier eeuwen duurden.Het is een van de weinige paleizen van Rome die nog steeds bezet wordt door zijn eigenaren en het bewaart een buitengewone verzameling meubels en kunstwerken.De kern van het paleis dateert uit het midden van de 15e eeuw en werd gebouwd door kardinaal Nicolò Acciapacci.

Tussen 1505 en 1507 herbouwde kardinaal Fazio Santorio het paleis volledig, maar hij werd door paus Julius II gedwongen om het aan de familie Della Rovere te geven.Het gebouw ging in 1601 over naar de Aldobrandinis en toen, toen Olimpia Aldobrandini in 1647 met Camillo Pamphilj senior trouwde, met de laatste.

Het meest opvallende deel van het gebouw is dat de architect Gabriele Valvassori tussen 1731 en 1734 heeft gewerkt. Hij verrijkte de gevel op de Corso en sloot de bovenste loggia van de binnenplaats van Bramante om vier vleugels te verkrijgen.Eén vleugel werd omgezet in de galerij van spiegels.In 1651 koos Pamphilj paus als onschuldige X, de geboorte van de galerij gesanctioneerd.

De collectie omvatte op dit moment al het beroemde portret van de paus in opdracht van Velasquez in 1650. De directe Pamphilj -familielijn eindigde in 1760 en de Doria Pamphilj -vestiging erfde het paleis.

De galerij werd ondeelbaar en onvervreemdbaar verklaard in 1871, samen met de andere ex-truste-collecties.