Решение о строительстве этого дворца было принято Каффарелли, богатой римской семьей, в 1500 году, и Рафаэля попросили спроектировать его. Один из его учеников, Лоренцо Лото, руководил его строительством.

Надежная элегантность дворца была изменена в 18-м и 19-м веках, когда фасад был увеличен и переоборудован под Corso Vittorio Emanuele II, и был добавлен верхний этаж.

По традиции, Карл V поселился здесь в 1536 году. В 1853 году на первом этаже жил епископ Перуджи, будущий Лев XIII.

Внутри некоторых комнат расписаны фресками Антон Рафаэль Менгс и школа Перин-дель-Вага. Перед второй мировой войной здание стало резиденцией фашистской партии.

Сегодня здесь находятся министерские офисы.