Pour sa solennité et ses proportions majestueuses, le palais est l'un des plus somptueux de la ville. Il est appelé "clavecin" pour sa forme et son "clavier" devrait être le côté court avec deux balcons donnant sur le Tibre. Commencé en 1560, probablement après un dessin de Vignola, il fut achevé par Flaminio Ponzio et Carlo Maderno en 1614.

Sur le portail du grand côté, qui comporte deux colonnes doriques soutenant un balcon, se trouve un grand manteau des bras de la famille. Le deuxième portail, qui a la même forme que le précédent mais n’a pas de blason, s’ouvre sur le côté de la place. C'est l'entrée d'une grande cour avec un double ordre de colonnes et à la fin se trouve l'extraordinaire «bain de Vénus», un nymphaeum avec des statues, des alpinistes et des fontaines.

Pendant longtemps, le rez-de-chaussée a abrité la collection de peintures qui a été transférée à la Villa Borghese en 1891.