Ascanio Caffarelli a commencé les travaux de construction en 1538 sur une propriété familiale située à proximité du Palazzo dei Conservatori; il fut achevé après 1680.

Le bâtiment donnait sur la cour du Palazzo dei Conservatori, tandis que l'intérieur comportait deux jardins (le jardin Caffarelli et celui connu sous le nom de jardin romain); le grand portail sur la Via delle Tre Pile était l'entrée principale de la propriété.

Au fil des siècles, le palais a subi de nombreuses modifications qui ont considérablement modifié son apparence d'origine. Certaines parties restantes du plafond voûté de fresques se trouvent maintenant au musée de Rome.

Du début du 19ème siècle à la fin de la Première Guerre mondiale, le bâtiment fut occupé par l'ambassade de Prusse.

En 1918, il fut repris par le conseil municipal de Rome et partiellement démoli. Une grande terrasse (la terrasse Caffarelli) a remplacé les étages supérieurs de l'aile orientale, tandis que le rez-de-chaussée, partiellement effacé par des fouilles dans le temple de Capitole Jupiter, a été repris par la nouvelle section du musée (Mussolini Musée, devenu ensuite le Museo Nuovo).