Construido en 1605 sobre las ruinas de los baños de Constantino por Flaminio Ponzio para el cardenal Scipio Borghese, fue embellecido por Giovanni Vasanzio con un jardín con terrazas inclinadas. El palacio perteneció a las familias Altemps, Bentivoglio, Lante, al cardenal Mazzarino, a las familias Mancini y luego a las familias Rospigliosi Pallavicini.

Este último agrandó y enriqueció el palacio con pinturas, entre los artistas que trabajaron para ellos estaban Orazio Gentileschi, Paolo Brill y Antonio Tempesti, quienes hicieron el fresco Triunfo del amor sobre la fama.

Las fachadas del palacio son lisas, con sillería rústica en sus costados y un pórtico central. En el primer piso está la Galería Pallavicini con obras de Botticelli, Rubens, Caravaggio y Titian (solo por mencionar algunas).

Dentro del jardín se encuentra el Casino dell'Aurora, famoso por el fresco de Aurora pintado en el techo por Guido Reni.