Incominciò la carriera ecclesiastica con un papa de Medici, Leone X e la continuò sotto Clemente VII, della stessa famiglia; infine Paolo III lo nominò vescovo di Pescia e Nunzio pontificio presso l'imperatore Carlo V. Entrò in rapporto con artisti e commissionò lavori a Leonardo, Raffaello Giulio Romano.

Nella prima targa si ricorda che l'imperatore Carlo V, di ritorno dalla spedizione di Tunisi contro i pirati barbareschi, nel maggio 1536 fu ospite in questa casa. Della seconda targa ben poco si legge: le parti che riporto fra parentesi quadre le ho tratte da una pubblicazione del 1867, che però non deve dare sicurezza sulla fedeltà all'originale, che già allora doveva essere alquanto consumato (all'inizio della seconda riga l'autore legge "LUCA SE", che non ha significato, mentre mi sembra verosimile e ritrovabile nei tratti ancora leggibili un "HUC SE"); questa targa ricorda che papa Paolo III fu qui ospitato nel 1541 dopo un colloquio avuto con l'imperatore a Lucca.