Prace budowlane rozpoczęło Ascanio Caffarelli w 1538 r. Na majątku rodzinnym położonym w pobliżu Palazzo dei Conservatori; został ukończony po 1680 r.

Budynek wychodził na dziedziniec Palazzo dei Conservatori, a jego wnętrze obejmowało dwa ogrody (ogród Caffarelli i znany jako Ogród Rzymski); duży portal przy Via delle Tre Pile był głównym wejściem do nieruchomości.

W ciągu wieków palazzo przeszło wiele zmian, które znacząco zmieniły jego pierwotny wygląd. Niektóre pozostałe części sklepionego sufitu z freskami znajdują się obecnie w Muzeum Rzymu.

Od początku XIX wieku do końca pierwszej wojny światowej budynek zajmowała ambasada pruska.

W 1918 r. został odebrany przez Rzymską Radę Miejską i częściowo zburzony. Duży taras (taras Caffarelli) zajął miejsce wyższych pięter wschodniego skrzydła, a parter, który został częściowo zatarty przez wykopy w Świątyni Kapitolińskiej Jowisza, został przejęty przez nową sekcję muzealną (Mussolini Muzeum, następnie Museo Nuovo).