Palatset är resultatet av en serie arkitektoniska omväxlingar som varade i fyra århundraden.Det är bland de få palatserna i Rom som fortfarande är ockuperade av sina ägare och det bevarar en extraordinär samling möbler och konstverk.Kärnan i palatset går tillbaka till mitten av 1500-talet och byggdes av kardinal Nicolò Acciapacci.

Mellan 1505 och 1507 kardinal Fazio Santorio byggde upp palatset helt men han tvingades av påven Julius II att ge det till familjen Della Rovere.Byggnaden passerade till Aldobrandinis 1601 och sedan, när Olimpia Aldobrandini gifte sig med Camillo Pamphiljs senior 1647, till den senare.

Den mest anmärkningsvärda delen av byggnaden är den som arbetade med arkitekten Gabriele Valvassori mellan 1731 och 1734. Han berikade fasaden på corso och stängde den övre loggia av Bramantes gård för att få fyra vingar.En vinge förvandlades till speglarnas galleri.1651 valde Pamphilj påven som oskyldig X, sanktionerade galleriets födelse.

Samlingen inkluderade redan det berömda porträttet av påven som beställdes från Velasquez 1650. Den direkta Pamfhilj -familjelinjen slutade 1760 och Doria Pamphilj -grenen ärvde palatset.

Galleriet förklarades odelbart och oförstörbart 1871, tillsammans med de andra ex-Truse-samlingarna.