El trabajo de construcción fue iniciado por Ascanio Caffarelli en 1538 en una propiedad familiar situada cerca del Palazzo dei Conservatori; se completó después de 1680.

El edificio daba al patio del Palazzo dei Conservatori, mientras que su interior incluía dos jardines (el Jardín Caffarelli y el denominado Jardín Romano); El gran portal en la Via delle Tre Pile era la entrada principal de la propiedad.

A lo largo de los siglos, el palacio ha sufrido una serie de alteraciones que han modificado sustancialmente su aspecto original. Algunas partes restantes del techo abovedado con frescos ahora se encuentran en el Museo de Roma.

Desde principios del siglo XIX hasta el final de la Primera Guerra Mundial, el edificio fue ocupado por la Embajada de Prusia.

En 1918 fue recuperado por el Ayuntamiento de Roma y parcialmente demolido. Una gran terraza, (la Terraza Caffarelli) tomó el lugar de los pisos superiores en el ala este, mientras que la planta baja, que había sido parcialmente destruida por las excavaciones en el Templo del Capitolio de Júpiter, fue tomada por la nueva sección del museo (Mussolini Museo, posteriormente el Museo Nuovo).