Er wurde 1605 auf den Ruinen der Thermen von Constantin von Flaminio Ponzio für den Kardinal Scipio Borghese erbaut und von Giovanni Vasanzio mit einem abfallenden Terrassengarten verschönert. Der Palast gehörte den Familien Altemps, Bentivoglio, Lante, dem Kardinal Mazzarino, den Mancini und dann den Rospigliosi Pallavicini.

Letzterer vergrößerte und bereicherte den Palast mit Gemälden. Zu den Künstlern, die für sie arbeiteten, gehörten Orazio Gentileschi, Paolo Brill und Antonio Tempesti, die das Fresko Triumph of Love über Fame gemacht haben.

Die Fassaden des Palastes sind schlicht, mit rostigen Quaderarbeiten an den Seiten und einem zentralen Portikus. Im ersten Stock befindet sich die Pallavicini Gallery mit Werken von Botticelli, Rubens, Caravaggio und Tizian (um nur einige zu nennen).

Innerhalb des Gartens befindet sich das Casino dell'Aurora, das berühmt ist für das Fresko Aurora, das von Guido Reni an der Decke gemalt wurde.