La décision de construire ce palais a été prise par les Caffarelli, une riche famille romaine, en 1500 et Raphaël a été chargé de le concevoir. Un de ses élèves, Lorenzo Lotto, a supervisé sa construction.

L'élégance robuste du palais a été modifiée aux 18e et 19e siècles lorsque la façade a été agrandie et déplacée pour faire face au Corso Vittorio Emanuele II et que le dernier étage a été ajouté.

La tradition veut que Charles V soit hébergé ici en 1536. En 1853, l'évêque de Pérouse, le futur Léon XIII, habitait au rez-de-chaussée.

À l'intérieur, certaines salles sont ornées de fresques d'Anton Raphael Mengs et de l'école de Perin del Vaga. Avant la seconde guerre mondiale, le bâtiment devint le siège du parti fasciste.

Aujourd'hui, il abrite des bureaux ministériels.