Bouwwerkzaamheden werden begonnen door Ascanio Caffarelli in 1538 op familiebezit in de buurt van het Palazzo Dei Conservatori;Het werd voltooid na 1680.

Het gebouw keek uit naar de binnenplaats van het Palazzo Dei Conservatori, terwijl het interieur twee tuinen omvatte (de Caffarelli -tuin en die bekend als de Romeinse tuin);Het grote portaal op de Via Delle Tre -stapel was de hoofdingang van het pand.

Door de eeuwen heen heeft het Palazzo een aantal wijzigingen ondergaan die zijn oorspronkelijke uiterlijk aanzienlijk hebben aangepast.Sommige overgebleven delen van het gewelfde plafond van het frescoed zijn nu gehuisvest in het Museum van Rome.

Vanaf het begin van de 19e eeuw tot het einde van de Eerste Wereldoorlog werd het gebouw bezet door de Pruisische ambassade.

In 1918 werd het teruggenomen door de gemeenteraad van Rome en gedeeltelijk afgebroken.Een groot terras, (het Caffarelli -terras) nam de plaats in van de bovenste verdiepingen in de oostelijke vleugel, terwijl de begane grond, die gedeeltelijk was uitgewist door opgravingen in de tempel van Capitoline Jupiter, werd overgenomen door het nieuwe museumgedeelte (MussoliniMuseum, vervolgens het Museo Nuovo).