Die Bauarbeiten wurden von Ascanio Caffarelli im Jahre 1538 auf einem Familienbesitz in der Nähe des Palazzo dei Conservatori begonnen. Es wurde nach 1680 fertiggestellt.

Das Gebäude blickte auf den Innenhof des Palazzo dei Conservatori, während sich im Inneren zwei Gärten befanden (der Caffarelli-Garten und der römische Garten); Das große Portal an der Via delle Tre Pile war der Haupteingang des Grundstücks.

Im Laufe der Jahrhunderte hat der Palazzo eine Reihe von Veränderungen erfahren, die sein ursprüngliches Aussehen wesentlich verändert haben. Einige der verbleibenden Teile der Gewölbedecke mit Fresken sind jetzt im Museum von Rom untergebracht.

Vom Anfang des 19. Jahrhunderts bis zum Ende des Ersten Weltkrieges war das Gebäude von der preußischen Botschaft besetzt.

Im Jahr 1918 wurde es vom Stadtrat von Rom zurückgenommen und teilweise abgerissen. Eine große Terrasse (die Caffarelli-Terrasse) ersetzte die oberen Etagen des Ostflügels, während das Erdgeschoss, das durch Ausgrabungen im Tempel des kapitolinischen Jupiter teilweise ausgelöscht worden war, von der neuen Museumsabteilung (Mussolini) übernommen wurde Museum, später Museo Nuovo).