Cominciò con una carriera militare e una vita dissoluta e dirottò poi le sue inclinazioni nell'ambito ecclesiastico quando lo zio materno diventò papa Pio IV. Nel 1560 fu nominato vescovo di Cassano Ionio, nel 1561 cardinale, dal 1580 col titolo di S.Maria in Trastevere.
Il cognome che la famiglia ebbe in Italia derivava dalla traduzione dell'originario Hohenems (alta Ems).