La decisión de construir este palacio fue tomada por el Caffarelli, una rica familia romana, en 1500 y se le pidió a Rafael que la diseñara. Uno de sus alumnos, Lorenzo Lotto, supervisó su construcción.

La robusta elegancia del palacio se modificó en los siglos XVIII y XIX, cuando la fachada se amplió y se reubicó para enfrentar el Corso Vittorio Emanuele II y se agregó la planta superior.

La tradición diría que Carlos V se alojó aquí en 1536. En 1853, el obispo de Perugia, el futuro León XIII, vivía en la planta baja.

En el interior, algunas habitaciones tienen frescos de Anton Raphael Mengs y de la escuela de Perin del Vaga. Antes de la segunda guerra mundial, el edificio se convirtió en la sede del partido fascista.

Hoy en día alberga oficinas ministeriales.