Строительные работы были начаты Асканио Каффарелли в 1538 году на семейной собственности, расположенной недалеко от Палаццо деи Консерватори; оно было завершено после 1680 года.

Здание выходило во двор Палаццо деи Консерватори, в то время как его интерьер включал два сада (Сад Каффарелли и тот, который известен как Римский Сад); Большой портал на Виа делле Тре Пиле был главным входом в собственность.

На протяжении веков палаццо претерпел ряд изменений, которые существенно изменили его первоначальный вид. Некоторые оставшиеся части сводчатого потолка с фресками в настоящее время находятся в Римском музее.

С начала XIX века до конца Первой мировой войны здание занимало прусское посольство.

В 1918 году он был возвращен городским советом Рима и частично снесен. Большая терраса (Caffarelli Terrace) заняла место верхних этажей в восточном крыле, в то время как нижний этаж, который был частично уничтожен при раскопках в Храме Капитолийского Юпитера, был передан новому разделу музея (Муссолини). Музей, впоследствии Музей Nuovo).