MaxCompute:Recursos de computação - Gerenciamento de cotas

Cotas

Uma cota do MaxCompute é uma unidade de recursos de computação que fornece CPU e memória para jobs do MaxCompute SQL, MapReduce, Spark, Mars e PAI.

• O MaxCompute utiliza um sistema de cotas de dois níveis: cotas de Nível 1 e Nível 2. As cotas de Nível 1 são independentes entre si e funcionam como unidades de gerenciamento para suas cotas filhas de Nível 2. Os recursos são compartilhados entre as cotas de Nível 2 sob a mesma cota de Nível 1. Não é possível usar uma cota de Nível 1 diretamente para jobs — você deve utilizar uma cota de Nível 2 para consumir CUs.

• A Unidade de Computação (CU) é a medida dos recursos de computação do MaxCompute. O MaxCompute oferece dois métodos de faturamento: assinatura e pagamento conforme o uso.

  • Compute fees (subscription): Você adquire CUs reservadas mensalmente, e o sistema cria uma cota exclusiva para elas. Para complementar as CUs de assinatura, é possível adquirir CUs Reservadas Elásticas por hora ou ativar o dimensionamento automático. As CUs Reservadas Elásticas são cobradas com base na quantidade adquirida e na duração, enquanto as CUs com dimensionamento automático são cobradas pelo uso e duração. Jobs em uma cota de assinatura podem usar CUs até o limite total da cota. Personalize a alocação de CUs criando cotas de Nível 2 dentro de uma cota de Nível 1.

  • Compute fees (pay-as-you-go): Neste modelo pós-pago, o sistema atribui seu projeto a uma cota de Nível 2 pública e compartilhada. Não é possível personalizar a alocação de CUs ou subalocar seus recursos.

Visualizar cotas

1. Faça login no console do MaxCompute e selecione uma região no canto superior esquerdo.

2. No painel de navegação à esquerda, escolha Manage Configurations > Quotas .

3. Na página Quotas, visualize a lista de cotas disponíveis.

   Passe o mouse sobre a cota de nível 1 ou nível 2 desejada e clique em no ícone para Follow.

   Na página Overview, a seção Following lista as Quotas que você segue.

   A lista exibe cotas de Nível 1 e Nível 2 em uma estrutura de árvore. Por padrão, tanto a conta primária quanto seus usuários RAM podem visualizar essa lista.

   • Cota de assinatura: Clique em no ícone à esquerda de uma cota de Nível 1 para expandir a lista de cotas de Nível 2 e visualizar suas configurações atuais. Após adquirir recursos de assinatura, o sistema cria uma cota de Nível 1 padrão e uma cota de Nível 2 padrão.

   • Cota de pagamento conforme o uso: Clique em no ícone à esquerda de uma cota de Nível 1 para expandir a lista de cotas de Nível 2. Após ativar o pay-as-you-go Standard Edition, o sistema cria uma cota de Nível 1 padrão chamada Default pay-as-you-go Quota_p e uma cota de Nível 2 padrão chamada Default pay-as-you-go Quota.

     Nota

     • A cota de Nível 2 padrão para alguns projetos de pagamento conforme o uso da chama-se aliyun_nick. Em regiões fora da China continental, o nome da cota de Nível 1 padrão para o service de pagamento conforme o uso da pode não ser exibido corretamente. Isso não afeta o uso da cota de Nível 2.

     • É possível criar apenas uma cota de pagamento conforme o uso em cada região. A cota não pode ser usada entre regiões.

       Uma cota do MaxCompute é específica da região e não pode ser utilizada em outras regiões. Se um job falhar com um erro como "quota not found" ou "no default resource group configured", faça login no console do MaxCompute, mude para a região do projeto e verifique se a cota alvo existe nessa região e se seu Status está como Normal. Certifique-se de que a cota e o projeto estejam na mesma região, por exemplo, ap-southeast-5. Isso evita interrupções de service causadas por incompatibilidade de região ou pagamento em atraso.

4. Configurar cotas

   Você pode particionar a cota dos recursos de computação padrão de assinatura adquiridos. Por padrão, a conta primária tem permissão para realizar essa operação. Um usuário RAM também pode receber essa permissão. Para mais informações, consulte RAM permissions. A configuração de cota consiste em duas partes principais: configuração básica e configuração de dimensionamento.

   Configuração básica

   A configuração básica abrange a adição ou exclusão de cotas de Nível 2 e a definição de parâmetros como exclusividade, limite de CU por job único, prioridade de job, CUs não reservadas, política de agendamento, CUs reservadas, CUs Reservadas Elásticas e AutoscaleLimitCU. Essas configurações aplicam-se apenas ao plano de configuração ativo e são suficientes caso você não precise de gerenciamento baseado em tempo.

   Cada cota de Nível 1 suporta até 100 cotas de Nível 2. Planeje sua estrutura de cotas com base nos seus cenários de negócios.

   Configuração de dimensionamento

   A configuração de dimensionamento permite definir valores diferentes de CU reservada mínima e máxima, CU Reservada Elástica e AutoscaleLimitCU para uma cota em horários distintos.

   Procedimento

   1. Faça login no console do MaxCompute e selecione uma região no canto superior esquerdo.

   2. No painel de navegação à esquerda, escolha Manage Configurations > Quotas .

   3. Na página Quotas, clique em Quota Configuration na coluna Actions da cota desejada.

      Essa operação é suportada apenas para cotas cujo Billing Method seja Subscription.

   4. Configure as definições básicas da cota

      1. Na página Quota Configuration, selecione a aba Basic Configurations e clique em Edit Basic Configurations.

         A tabela a seguir descreve os parâmetros.

         Parâmetro	Descrição
         Quota Name	Insira um nome personalizado. O nome deve começar com uma letra e pode conter letras, dígitos e sublinhados (_).
         Type	Batch: cota utilizada para executar jobs em lote. Interactive: cota dedicada à execução de jobs do MaxQA (aceleração de consultas). Não é necessário defini-la como a cota de computação padrão de um projeto. Se a cota de computação padrão de um projeto for uma cota batch de assinatura, os jobs que acionam a aceleração de consultas são automaticamente agendados para execução em uma cota interativa. Nota Esse comportamento de agendamento automático aplica-se ao MCQA. No modo MaxQA, você deve especificar explicitamente o nome do grupo de cotas interativas no cliente ou na string de conexão. O roteamento automático de cotas não é suportado. Caso existam múltiplas cotas interativas, os jobs do MCQA (aceleração de consultas 1.0) são agendados por padrão para a primeira cota interativa criada. Utilize quota rules para agendar jobs MCQA de diferentes projetos em cotas interativas distintas. No modo MaxQA (aceleração de consultas 2.0), especifique explicitamente o nome do grupo de cotas, pois o roteamento automático não é suportado.
         Reserved CUs [minCU,maxCU]	As CUs reservadas mensais. minCU é o valor garantido e maxCU é o limite superior. As CUs reservadas de uma cota de nível 1 correspondem ao total de CUs adquiridas por assinatura (minCU=maxCU). Esse valor só pode ser aumentado ou diminuído mediante upgrade ou downgrade da cota. Não é possível editá-lo aqui. Se maxCU > minCU, as cotas de nível 2 operam em modo compartilhado. Quando as CUs solicitadas excedem o valor de minCU, recursos ociosos de outras cotas não exclusivas podem ser preemptados. A soma dos valores de minCU de todas as cotas de nível 2 deve ser igual ao valor de minCU da cota de nível 1. Para uma cota de nível 2, minCU deve ser menor ou igual a maxCU, e maxCU deve ser menor ou igual ao valor de minCU adquirido da cota de nível 1. Os valores de minCU e maxCU da cota de nível 2 padrão não podem ser editados: minCU da cota de nível 2 padrão = [minCU da cota de nível 1] - [soma dos valores minCU das cotas de nível 2 personalizadas] O valor de maxCU é igual ao valor de maxCU da cota de nível 1. Atualmente, o minCU de uma cota de nível 2 não pode ser definido como 0. Para uma nova cota: Esta configuração aplica-se apenas ao plano atualmente ativo. Se existirem vários planos de dimensionamento, a nova cota será adicionada a todos eles. Para planos diferentes do ativo, o minCU reservado padrão é definido como 1 (deduzido da cota de assinatura de nível 2 padrão). Para ajustar a quantidade de CUs, edite cada plano na aba Scaling Configuration.
         Elastically Reserved CUs	CUs elásticas de pagamento conforme o uso. Para mais informações sobre o faturamento de CUs reservadas elásticas, consulte Compute fees (pay-as-you-go). Para uma cota de nível 1, este parâmetro especifica o número de CUs a serem pré-adquiridas. O valor padrão é 0. O valor máximo é o menor entre as CUs reservadas por assinatura da cota ou 10.000 CUs. O valor também está sujeito à disponibilidade de estoque, verificada durante o dimensionamento. O incremento mínimo de scale-up é de 50 CUs, e o valor deve ser aumentado em múltiplos de 50. As CUs reservadas elásticas de uma cota de nível 2 são definidas da seguinte forma: A soma das CUs reservadas elásticas de todas as cotas de nível 2 deve ser igual às CUs reservadas elásticas da cota de nível 1. Não é possível editar as CUs reservadas elásticas da cota de nível 2 padrão. Esse valor é calculado subtraindo o total de CUs reservadas elásticas das cotas de nível 2 personalizadas das CUs reservadas elásticas da cota de nível 1. Para uma nova cota: Esta configuração aplica-se apenas ao plano atualmente ativo. Se existirem vários planos de dimensionamento, a nova cota será adicionada a todos eles. Para planos diferentes do ativo, o valor padrão para CUs reservadas elásticas é 0. Para ajustar a quantidade de CUs, edite cada plano na aba Scaling Configuration.
         AutoScale CUs	Quantidade máxima de recursos disponíveis para dimensionamento automático visando lidar com flutuações de carga de trabalho. Para mais informações sobre o faturamento do dimensionamento automático, consulte Compute fees (pay-as-you-go). Cota de Nível 1: O dimensionamento automático vem desativado por padrão. O valor padrão de Auto Scaling Limit CUs (AutoscaleLimitCU) é 0. O Auto Scaling Limit CUs pode ser definido em incrementos de 10. O valor máximo corresponde ao valor de CU reservada da cota de nível 1. Quando o dimensionamento automático está ativado, a cota sempre ocupa os recursos de reserved CU + elastic reserved CU durante o período de vigência do plano de configuração. Para atender às demandas de carga de trabalho dos jobs, ela também utiliza CUs adicionais de dimensionamento automático, cuja quantidade é maior que 0 e menor ou igual a AutoscaleLimitCU. Cota de Nível 2: Se o dimensionamento automático estiver ativado para uma cota de nível 1, ele será ativado por padrão para todas as suas cotas de nível 2. Defina o Auto Scaling Limit CUs separadamente para cada cota de nível 2. O valor para uma cota batch pode ser definido em incrementos de 10 CUs, e para uma cota interativa em incrementos de 25 CUs. O valor deve estar no intervalo [0, AutoscaleLimitCU da cota de nível 1]. Todas as cotas de nível 2 compartilham recursos de dimensionamento automático, alocados automaticamente com base na carga de trabalho de cada cota. Na prática, o total de CUs dimensionadas automaticamente usadas por todas as cotas de nível 2 sob uma cota de nível 1 é igual às CUs dimensionadas usadas pela cota de nível 1, sem exceder seu limite de dimensionamento automático.
         Exclusive or Not	Define se a cota é estritamente exclusiva, ou seja, se suas CUs não podem ser usadas por outros grupos de cotas mesmo quando ociosas. Este parâmetro só pode ser configurado para cotas de nível 2. Se o tipo da cota de nível 2 for Interactive, este parâmetro vem ativado por padrão e não pode ser modificado. Esta configuração é adequada para grupos de cotas que executam services de BI ou ALGO. Esses tipos de jobs podem ser iniciados a qualquer momento, e esta definição impede que seus recursos sejam ocupados por outras cotas por longos períodos, o que pode ocorrer quando o valor máximo de uma cota é maior que seu valor mínimo.
         Maximum Number of CUs for a Single Job	Especifica o limite de concorrência de CU para jobs nesta cota. Um valor vazio ou 0 significa que não há limite. Insira um número inteiro positivo para definir um limite. Este parâmetro não está disponível quando o tipo da cota de nível 2 é Interactive. Esta configuração evita que um único job ocupe um grande número de CUs por muito tempo, o que faria com que outros jobs aguardassem recursos. Também é possível definir um limite no nível do job executando o comando set odps.task.max.concurrent.cu=<CU_amount>; antes do seu código. Configurações no nível do job têm prioridade maior do que configurações no nível da cota.
         Enable Priority	Ativa o recurso de prioridade de job. Para mais informações, consulte Job priorities. Jobs executados nesta cota terão prioridade. O mesmo efeito ocorre se a prioridade estiver ativada no nível do projeto. Este parâmetro não está disponível quando o tipo da cota de nível 2 é Interactive.
         Non-reserved CUs	As CUs não reservadas mensais. As CUs não reservadas de uma cota de nível 1 correspondem à quantidade adquirida por assinatura. Esse valor só pode ser aumentado ou diminuído mediante upgrade ou downgrade da cota. Não é possível editá-lo aqui. O scale-up está indisponível no momento devido ao estoque limitado. As CUs não reservadas de uma cota de nível 2 são definidas da seguinte forma: A soma das CUs não reservadas de todas as cotas de nível 2 deve ser igual às CUs não reservadas da cota de nível 1. Não é possível editar as CUs não reservadas da cota de nível 2 padrão. Esse valor é calculado subtraindo o total de CUs não reservadas das cotas de nível 2 personalizadas das CUs não reservadas da cota de nível 1.
         Scheduling Policy	As políticas de agendamento de cotas de nível 2 do MaxCompute incluem FAIR e FIFO. FAIR (agendamento justo) Para jobs com a mesma prioridade, os recursos são alocados igualmente entre todos os jobs enviados simultaneamente. Para jobs com prioridades diferentes, os recursos são alocados primeiro igualmente aos jobs de maior prioridade. Se sobrarem recursos, eles serão então alocados igualmente aos jobs de menor prioridade. FIFO (first-in-first-out) Para jobs com a mesma prioridade, os recursos são alocados ao primeiro job enviado. Para jobs com prioridades diferentes, os recursos são alocados aos jobs de maior prioridade, mesmo que tenham sido enviados após jobs de menor prioridade. Escolha uma política de agendamento com base nas necessidades do seu negócio. Esta configuração não é suportada para cotas de nível 2 interativas. Para mais informações, consulte Scheduling policies for computing resource quotas. Importante A partir de 24 de maio de 2023, a política de agendamento padrão para novas cotas de nível 2 criadas nas regiões China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Ulanqab), China (Shenzhen) e China (Chengdu) é FIFO. Para cotas de nível 2 criadas nessas regiões antes dessa data, a política de agendamento padrão é FAIR.

      2. Excluir uma cota

         Na página Quota Configuration, selecione a aba Basic Configurations e clique em Delete na coluna Actions da cota desejada.

         Após a exclusão de uma cota de Nível 2, ela é removida de todos os planos de configuração de recursos. Seus valores de minCU e CUs Reservadas Elásticas retornam à cota de Nível 2 padrão. Para fazer ajustes, edite os planos de configuração na aba Scaling Configuration.

   5. Configure o dimensionamento da cota

      Após adquirir um projeto MaxCompute por assinatura, cada cota de Nível 1 possui um plano de configuração de recursos padrão chamado Default.

      Cada plano de configuração de recursos especifica as CUs reservadas, CUs Reservadas Elásticas e AutoscaleLimitCU para uma cota de Nível 1 e todas as suas cotas de Nível 2. Crie vários planos e utilize o gerenciamento baseado em tempo para alternar entre eles. Por exemplo, se uma cota de Nível 2 precisar de alocações de CU diferentes durante 00:00–08:00 e 08:00–24:00, crie dois planos e agende-os adequadamente.

      Nota

      É possível adicionar até 48 planos de configuração de recursos. Cada plano pode ter uma configuração diferente para ser ativada em horários distintos do dia.

      1. Na página Quota Configuration, selecione a aba Scaling Configuration.

      2. Na aba Scaling Configuration, clique em Add Configuration Plan. Na caixa de diálogo Add Configuration Plan, insira um Configuration Plan Name e configure as Reserved CUs [minCU,maxCU], Elastically Reserved CUs e AutoScale CUs para a cota de nível 2.

         Para mais informações sobre os parâmetros, consulte preceding parameter description table.

      3. Clique em OK para adicionar o plano.

      4. Na aba Scaling Configuration, clique em Apply Immediately na coluna Actions do plano desejado para aplicá-lo imediatamente. Também é possível usar planos existentes ao configurar o Scheduled Scaling Management.

         Clique em Apply Immediately para qualquer plano. Observe que, se houver um agendamento baseado em tempo configurado, o plano aplicado manualmente será substituído pelo próximo plano agendado. Para aplicar um plano manualmente e evitar que seja substituído, limpe todas as outras configurações baseadas em tempo.

   6. (Opcional) Gerencie um plano de configuração

      • Visualizar um plano de configuração

        Na aba Scaling Configuration, clique em no ícone à esquerda de um Configuration Plan Name para expandir e visualizar os detalhes do plano.

      • Editar um plano de configuração

        Na aba Scaling Configuration, clique em Edit na coluna Actions do plano desejado para atualizá-lo.

        Se o plano estiver em vigor no momento, clique em Apply Immediately na coluna Actions após a edição para aplicar a nova configuração.

      • Excluir um plano de configuração

        Na aba Scaling Configuration, clique em Delete na coluna Actions do plano desejado para excluí-lo.

        Não é possível excluir o plano Default ou o plano que está em vigor no momento.

      • Clonar um plano de configuração

        Na aba Scaling Configuration, clique em Clone na coluna Actions do plano desejado para criar uma cópia dele.

   7. Configurar gerenciamento baseado em tempo

      Agende diferentes planos de configuração para ativação em horários específicos do dia.

      Nota

      O agendamento baseado em tempo pode ter um atraso de até 5 minutos.

   8. Na aba Scaling Configuration, clique em Edit Time Plan na seção Scheduled Scaling Management.

   9. Clique em Add Effective Period e selecione um Effective start time e um Configuration Plan.

      Nota

      • Existe apenas um plano de tempo global com horário de início padrão às 00:00, que não pode ser modificado ou excluído. Ele usa o plano de configuração Default por padrão, mas você pode alterá-lo. Se não adicionar outros horários de início, o mesmo plano de configuração será aplicado durante todo o dia.

      • Ative diferentes planos de configuração na hora cheia e na meia-hora. Um único plano de configuração pode ser ativado várias vezes.

   Visualizar consumo de cotas

   Visualize o consumo de CU de uma cota de Nível 1. Por padrão, a conta primária e seus usuários RAM podem visualizar essas informações.

   1. Faça login no console do MaxCompute e selecione uma região no canto superior esquerdo.

   2. No painel de navegação à esquerda, escolha Manage Configurations > Quotas .

   3. Na página Quotas, clique em Configure Resources na coluna Actions da cota desejada.

   4. Na página Configure Resources, clique em no ícone à esquerda de uma cota de nível 2 para expandi-la e visualizar os gráficos de tendência de consumo de CPU Resources (Unit: Core) e Memory (GB), bem como a cota e a lista de projetos associados.

      • Os gráficos de CPU Resources (Unit: Core) e Memory (GB) mostram as tendências de uso de CU para cotas de Nível 2 e períodos selecionados. Clique em um ponto no tempo para visualizar os snapshots de jobs correspondentes.

      • A lista Cota e Projetos Associados mostra quais projetos usam a cota de Nível 2 correspondente como sua cota de computação padrão.

   Regras de cota

   Configure regras para uma cota a fim de rotear jobs que atendam a condições específicas para essa cota. Para mais informações, consulte Quota rules.

   Tags de cota

   Vincule ou desvincule tags em cotas de Nível 1 baseadas em assinatura. Para mais informações sobre o uso e limitações de tags, consulte What are tags?

   1. Faça login no console do MaxCompute e selecione uma região no canto superior esquerdo.

   2. No painel de navegação à esquerda, escolha Manage Configurations > Quotas .

   3. Crie uma tag.

      1. Na página Quotas, visualize a lista de cotas disponíveis.

      2. Crie uma tag para uma única cota de Nível 1.

         1. Passe o mouse sobre o ícone na coluna Tag de uma cota de nível 1 alvo (apenas para o método de faturamento Subscription) e clique em Edit ou Edit.

            Se nenhuma tag tiver sido criada, Edit será exibido. Caso contrário, Edit será exibido.

         2. Na caixa de diálogo Configure Tags, insira uma Tag Key e um Tag Value.

         3. Clique em OK e, em seguida, clique em Close na caixa de diálogo Configure Tags successfully.

      3. Crie tags para múltiplas cotas de Nível 1.

         1. Para adicionar tags a várias cotas de nível 1, selecione-as e clique em Batch Add Tag na parte inferior da página.

         2. Na caixa de diálogo Configure Tags, insira uma Tag Key e um Tag Value.

         3. Clique em OK e, em seguida, clique em Close na caixa de diálogo Configure Tags successfully.

   4. Filtre por tag.

      Na página Quotas, clique em Filter by Tag para filtrar cotas por chave de tag e valor de tag.

   5. (Opcional) Desvincule uma tag.

      • Desvincular uma tag de uma única cota de Nível 1.

        1. Passe o mouse sobre o ícone na coluna Tag de uma cota de nível 1 alvo e clique em Edit.

        2. Na caixa de diálogo Configure Tags, clique em no ícone ao lado da tag que deseja desvincular.

        3. Clique em OK e, em seguida, clique em Close na caixa de diálogo Configure Tags successfully.

      • Desvincular tags de múltiplas cotas de Nível 1.

        1. Para remover tags de várias cotas de nível 1, selecione-as e clique em Batch Remove Tag na parte inferior da página.

        2. Na caixa de diálogo Delete Tags for Multiple Resources, selecione as tags que deseja excluir.

        3. Clique em Delete X Tag(s), onde X é o número de tags a serem excluídas. Em seguida, clique em Close na caixa de diálogo Configure Tags successfully.

   FAQ

   Por que a mesma instrução SQL apresenta durações de execução inconsistentes, ou por que uma tarefa desacelera repentinamente mesmo sem alteração no volume de dados?

   Isso geralmente é causado por contenção de cotas: múltiplos ambientes compartilham a mesma cota de pagamento conforme o uso, ou uma cota de assinatura está sob pressão de recursos. Um job grande ocupa a maioria das CUs, e outros jobs precisam aguardar por recursos.

   Para solucionar o problema, acesse o console do MaxCompute, clique em Quota (Quota) Management e, em seguida, clique em Resource Consumption da cota para abrir a página Resource Observation. Compare a carga da cota entre o período em que a tarefa estava lenta e um período normal para determinar se o problema é causado por um grupo de recursos do DataWorks ou por recursos insuficientes da cota do MaxCompute.

   Se os recursos da cota do MaxCompute forem insuficientes, migre jobs críticos de produção para uma cota de assinatura dedicada ou solicite o aumento do limite de CU da sua cota de pagamento conforme o uso para garantir suprimento adequado de recursos.

   O número de CUs configurado para uma tarefa do DataWorks Data Integration é igual à quantidade de cota do MaxCompute realmente consumida?

   Não, os dois valores não são iguais. A quantidade de recursos de cota realmente consumida costuma ser maior que o número de CUs configurado na página da tarefa do DataWorks Data Integration. Além da tarefa básica de sincronização, processos como sincronização de dados em tempo real, captura de dados alterados (CDC), geração e entrega de mensagens de assinatura de dados e validação de dados de alta concorrência consomem recursos adicionais de computação do MaxCompute. Esses processos podem causar picos instantâneos no uso de recursos.

   Ao planejar a capacidade da cota, reserve um buffer suficiente em vez de estimar suas necessidades de recursos baseando-se apenas no valor de CU configurado no DataWorks.