Beslutet att bygga detta palats togs av Caffarelli, en rik romersk familj, 1500 och Raphael ombads att utforma det.En av hans elever, Lorenzo Lotto, övervakade sin konstruktion.

Den robusta elegansen i palatset förändrades på 1700- och 1800-talet när fasaden utvidgades och sattes om att möta Corso Vittorio Emanuele II och den övre våningen lades till.

Traditionen skulle ha det som Charles V ställde in här 1536. 1853 bodde biskopen i Perugia, den framtida Leo XIII, på bottenvåningen.

Inuti vissa rum är frescoed av Anton Raphael Mengs och av skolan i Perin del Vaga.Före andra världskriget blev byggnaden platsen för det fascistiska partiet.

Idag innehåller det ministerkontor.