El palacio es el resultado de una serie de vicisitudes arquitectónicas que duraron cuatro siglos. Es uno de los pocos palacios de Roma que todavía está ocupado por sus propietarios y conserva una extraordinaria colección de muebles y obras de arte. El núcleo del palacio data de mediados del siglo XV y fue construido por el cardenal Nicolò Acciapacci.

Entre 1505 y 1507, el cardenal Fazio Santorio reconstruyó el palacio por completo, pero el papa Julio II lo obligó a dárselo a la familia Della Rovere. El edificio pasó a los Aldobrandinis en 1601 y luego, cuando Olimpia Aldobrandini se casó con Camillo Pamphilj senior en 1647, con este último.

La parte más notable del edificio es la realizada por el arquitecto Gabriele Valvassori entre 1731 y 1734. Enriqueció la fachada del Corso y cerró la logia superior del patio de Bramante para obtener cuatro alas. Un ala fue convertida en la Galería de los Espejos. En 1651, Pamphilj eligió al papa como Inocencio X, sancionó el nacimiento de la Galería.

La colección en este momento ya incluía el famoso retrato del papa encargado a Velásquez en 1650. La línea directa de la familia Pamphilj terminó en 1760 y la rama Doria Pamphilj heredó el palacio.

La Galería fue declarada indivisible e inalienable en 1871, junto con las otras colecciones de ex fideicomisarios.