Decyzję o budowie tego pałacu podjęła bogata rzymska rodzina Caffarelli w 1500 r., A Rafał został poproszony o jego zaprojektowanie. Jeden z jego uczniów, Lorenzo Lotto, nadzorował jego budowę.

Solidna elegancja pałacu została zmieniona w XVIII i XIX wieku, kiedy fasada została powiększona i ponownie ustawiona na twarz Corso Vittorio Emanuele II i dodano górną kondygnację.

Tradycja głosi, że Karol V zamieszkał tutaj w 1536 r. W 1853 r. biskup Perugii, przyszły Leon XIII, mieszkał na parterze.

Wewnątrz niektórych pokoi są freski autorstwa Antona Raphaela Mengsa i szkoły Perin del Vaga. Przed drugą wojną światową budynek stał się siedzibą partii faszystowskiej.

Dziś mieści się tu urząd ministerialny.