Rozhodnutí postavit tento palác přijali Caffarelli, bohatá římská rodina, v roce 1500 a Raphael byl požádán, aby jej navrhl.Jeden z jeho žáků, Lorenzo Lotto, dohlížel na jeho konstrukci.

Robustní elegance paláce byla změněna v 18. a 19. století, kdy byla fasáda zvětšena a znovu umístěna tak, aby čelila Corso Vittorio Emanuele II a byl přidán nejvyšší podlaží.

Tradice by měla, aby zde Charles V podal v roce 1536. V roce 1853 žil v přízemí biskup z Perugie, budoucí Leo XIII.

V některých místnostech jsou fresky Anton Raphael Mengs a škola Perin del Vaga.Před druhou světovou válkou se budova stala sídlem fašistické strany.

Dnes obsahuje ministerské kanceláře.