Дворец является результатом ряда архитектурных перипетий, которые длились четыре века. Это один из немногих дворцов Рима, который до сих пор занят его владельцами, и в нем хранится необычайная коллекция мебели и произведений искусства. Ядро дворца датируется серединой 15-го века и было построено кардиналом Николо Ачиапаччи.

Между 1505 и 1507 годами кардинал Фацио Санторио полностью перестроил дворец, но папа Юлий II заставил его передать его семье Делла Ровере. Здание перешло к Альдобрандини в 1601 году, а затем, когда Олимпия Альдобрандини вышла замуж за Камилло Памфили-старшего в 1647 году, за последнего.

Самая известная часть здания - это то, над чем работал архитектор Габриэле Вальвассори в 1731-1734 годах. Он обогатил фасад на Корсо и закрыл верхнюю лоджию двора Браманте, чтобы получить четыре крыла. Одно крыло было превращено в Зеркальную галерею. В 1651 году Памфили избрал папу Иннокентием X, санкционировавшим рождение Галереи.

Коллекция в это время уже включала в себя знаменитый портрет папы, заказанный Веласкесом в 1650 году. Прямая линия семьи Памфили закончилась в 1760 году, а филиал Дориа Памфили унаследовал дворец.

Галерея была объявлена ​​неделимой и неотъемлемой в 1871 году, как и другие коллекции бывших попечителей.