La ricostruzione del palazzo fu iniziata nel 1525, sotto la podesteria di Giovanni Moro. La seconda epigrafe dice che quella superiore fu trovata durante lavori di restauro del Torrazzo, nel 1919.