Die Entscheidung, diesen Palast zu errichten, wurde im Jahre 1500 von der Caffarelli, einer reichen römischen Familie, getroffen. Raffael wurde aufgefordert, ihn zu entwerfen. Einer seiner Schüler, Lorenzo Lotto, beaufsichtigte den Bau.

Die robuste Eleganz des Palastes wurde im 18. und 19. Jahrhundert verändert, als die Fassade gegenüber dem Corso Vittorio Emanuele II vergrößert und neu platziert wurde und das oberste Stockwerk hinzugefügt wurde.

Nach einer Überlieferung hatte Karl V. 1536 hier gewohnt. 1853 lebte der Bischof von Perugia, der spätere Leo XIII., im Erdgeschoss.

Innen sind einige Zimmer von Anton Raphael Mengs und der Schule von Perin del Vaga mit Fresken versehen. Vor dem zweiten Weltkrieg wurde das Gebäude zum Sitz der faschistischen Partei.

Heute sind hier Ministerbüros untergebracht.