MaxCompute:Otimize a configuração de recursos de computação

Caso de uso 1: Otimizar uma cota de assinatura existente

• Descrição

  Uma empresa utiliza recursos de computação por assinatura. O plano atual reserva 1.000 CUs para jobs. Dois lotes de jobs executam nesses recursos em horários fixos todos os dias:

  • Primeiro lote: Os jobs são enviados antes das 01:00 e devem terminar até as 02:00. No entanto, na configuração atual, os jobs não cumprem esse prazo.

  • Segundo lote: Os jobs são enviados antes das 05:00 e devem terminar até as 06:00.

  • Custo do recurso (preço de tabela): O custo mensal de recursos de computação é , e 1.000 CU × 22,0 USD/CU = 22.000 USD.

• Lógica do MaxCompute para gerar um plano de otimização

  1. O MaxCompute prevê o volume diário de solicitações de CU com base nas informações do cenário.

     

     1. Com base nos dados de execução dos dois lotes de jobs nos últimos 30 dias, o MaxCompute prevê a carga de trabalho necessária para concluí-los. Suponha que os dois valores previstos sejam:

        • Primeiro lote de jobs

          Os jobs consomem 1.500 CUs e executam por 1 hora. O uso de recursos é 1.500 CU × 1 h = 1.500 CU-horas.

        • Segundo lote de jobs

          Os jobs consomem 750 CUs e executam por 1 hora. O uso de recursos é 750 CU × 1 h = 750 CU-horas.

     2. Defina dois Estimation time points com base nos horários esperados de conclusão dos lotes de jobs: 02:00 e 06:00.

  2. Em seguida, o MaxCompute avalia o consumo de recursos na configuração atual.

     Nota

     As métricas de avaliação a seguir são estimadas principalmente usando CU-horas. Para obter detalhes sobre a lógica de cálculo, consulte os termos correspondentes na seção "Terminologia relacionada" abaixo.

     

     • Para o primeiro lote de jobs, são necessárias 1.500 CU-horas e há 1.000 CUs reservadas configuradas. O primeiro lote pode ser concluído em 1,5 horas. Nesse caso, o primeiro lote de jobs termina às 02:30. A latência do job é de 30 minutos.

     • Para o segundo lote de jobs, são necessárias 750 CU-horas e há 1.000 CUs reservadas configuradas. O segundo lote pode ser concluído em 0,75 horas. Nesse cenário, todos os jobs terminam por volta das 05:45. Existem CUs redundantes disponíveis e não há latência de job.

       A estimativa a seguir baseia-se na configuração atual de recursos:

       Métrica de estimativa	Fórmula de cálculo	Primeiro lote de jobs	Segundo lote de jobs
       Satisfação da demanda	Horário esperado de conclusão: Used CU-hours/Actually required CU-hours	66,67% (Insuficiência de recursos)	100% (Redundância de recursos)
       Latência do job	Se os jobs não forem concluídos antes do horário esperado: Actual completion time - Expected completion time	30 minutos	0 minutos

  3. O sistema gera um plano ideal de otimização de configuração de recursos com base no objetivo de saída. O objetivo de saída refere-se ao horário limite para a conclusão de todos os jobs envolvidos.

     

     • Plano de otimização: 750 CUs reservadas e 750 CUs elasticamente reservadas para o período das 01:00 às 02:00.

     • Resultados da otimização:

       • Para ambos os lotes de jobs, a satisfação da demanda é de 100% e a latência do job é de 0 minutos.

       • Custo do recurso (preço de tabela): 750 CU × 22,0 USD/CU + 750 CU × 0,0488 USD/CU/H × 1 H × 30 = 17.598 USD. Isso representa uma redução de 4.402 USD no custo mensal de computação pré-otimização de 1.000 CU × 22,0 USD/CU = 22.000 USD.

  Caso de uso 2: Migrar um projeto pagamento conforme o uso para uma nova cota de assinatura

  • Descrição

    Uma empresa utiliza o MaxCompute Pay-as-you-go Standard Edition. O Projeto A possui dois lotes de jobs que executam em horários fixos diariamente:

    • Primeiro lote de jobs: Todos os jobs são enviados e iniciados antes das 01:00 diariamente. A empresa espera concluir esses jobs antes das 02:00.

    • Segundo lote de jobs: Todos os jobs são enviados e iniciados antes das 05:00 diariamente. A empresa espera concluir esses jobs antes das 06:00.

    • Custo do recurso (preço de tabela): Jobs SQL no modelo pagamento conforme o uso são faturados com base no volume de verificação de dados. O volume médio diário de verificação de dados é de cerca de 1.200 GB. O custo mensal de computação é 1.200 GB × 0,0438 USD/GB × 30 = 1.576,8 USD.

    A empresa deseja adquirir uma cota de computação por assinatura para executar os jobs de computação no Projeto A.

  • Lógica do MaxCompute para gerar um plano de otimização

    1. O sistema estima o número de solicitações diárias de CU com base nas informações básicas do cenário.

       1. Com base nos resultados de execução de dois lotes de jobs em 30 dias, o sistema estima as CU-horas consumidas separadamente por cada lote. O conteúdo a seguir lista os valores estimados.

          • Primeiro lote de jobs

            Os jobs consomem 100 CUs e executam por 1 hora. O uso de recursos é 100 CU × 1 h = 100 CU-horas.

          • Segundo lote de jobs

            Os jobs consomem 50 CUs e executam por 1 hora. O uso de recursos é 50 CU × 1 h = 50 CU-horas.

       2. O sistema define dois estimation time points, 02:00 e 06:00, com base no horário esperado de conclusão dos dois lotes de jobs. O sistema também define o objetivo de saída. Por padrão, a latência de job não é permitida.

    2. O sistema gera um plano ideal de otimização de configuração de recursos com base no objetivo de saída. O objetivo de saída refere-se ao horário limite para a conclusão de todos os jobs envolvidos.

       • Plano de otimização: 50 CUs reservadas e 50 CUs elasticamente reservadas para o período das 01:00 às 02:00.

       • Resultados da otimização:

         • Para ambos os lotes de jobs, a satisfação da demanda é de 100% e a latência do job é de 0 minutos.

         • Custo do recurso (preço de tabela): 50 CU × 22,0 USD/CU + 50 CU × 0,0488 USD/CU/H × 1 H × 30 = 1.173,2 USD. Isso representa uma redução de 403,6 USD no custo mensal de computação pré-otimização de 1.576,8 USD.

  Caso de uso 3: Consolidar um projeto pagamento conforme o uso em uma cota de assinatura existente

  • Descrição

    Uma empresa adquiriu recursos de computação específicos por assinatura. No plano atual de configuração de recursos, 1.000 unidades de computação reservadas (CUs) estão configuradas para jobs. Dois lotes de jobs consomem as CUs reservadas todos os dias.

    • Primeiro lote de jobs: Todos os jobs são enviados e iniciados antes das 01:00 diariamente. A empresa espera concluir esses jobs antes das 02:00.

    • Segundo lote de jobs: Todos os jobs são enviados e iniciados antes das 05:00 diariamente. A empresa espera concluir esses jobs antes das 06:00.

    • Custo do recurso (preço de tabela): O custo mensal de recursos de computação é 1.000 CU × 22,0 USD/CU = 22.000 USD.

    A empresa ativa o MaxCompute faturado no modelo pagamento conforme o uso. No Projeto A, dois lotes de jobs executam com recursos pagamento conforme o uso em períodos fixos diariamente.

    • Primeiro lote de jobs: Todos os jobs são enviados e iniciados antes das 01:00 diariamente. A empresa espera concluir esses jobs antes das 02:00.

    • Segundo lote de jobs: Todos os jobs são enviados e iniciados antes das 05:00 diariamente. A empresa espera concluir esses jobs antes das 06:00.

    • Custo do recurso (preço de tabela): Jobs SQL no modelo pagamento conforme o uso são faturados com base no volume de verificação de dados. O volume médio diário de verificação de dados é de cerca de 4.200 GB. O custo mensal de computação é 4.200 GB × 0,0438 USD/GB × 30 = 5.518,8 USD.

    O custo mensal total de recursos de computação é 22.000 + 5.518,8 = USD 27.518,8.

    A empresa deseja executar os jobs de computação do Projeto A na cota de assinatura existente e garantir que os jobs sejam concluídos no horário esperado.

  • Lógica do MaxCompute para gerar um plano de otimização

    1. O sistema estima o número de solicitações diárias de CU do projeto pagamento conforme o uso e da cota de assinatura com base nas informações básicas do cenário.

       1. Com base nos dados de execução dos dois lotes de jobs na cota de assinatura nos últimos 30 dias, o sistema prevê os recursos (CU-horas) necessários para concluir cada lote. Suponha que os valores previstos sejam os seguintes:

          • Primeiro lote de jobs

            Os jobs requerem 1.500 CUs e executam por 1 hora. O uso de recursos é 1.500 CU × 1 h = 1.500 CU-horas.

          • Segundo lote de jobs

            Os jobs requerem 750 CUs e executam por 1 hora. O uso de recursos é 750 CU × 1 h = 750 CU-horas.

       2. Com base nos dados de execução dos dois lotes de jobs no Projeto A nos últimos 30 dias, o sistema prevê os recursos (CU-horas) necessários para concluir cada lote. Suponha que os valores previstos sejam os seguintes:

          • Primeiro lote de jobs

            Os jobs requerem 500 CUs e executam por 1 hora. O uso de recursos é 500 CU × 1 h = 500 CU-horas.

          • Segundo lote de jobs

            Os jobs requerem 250 CUs e executam por 1 hora. O uso de recursos é 250 CU × 1 h = 250 CU-horas.

       3. O sistema define dois estimation time points, 02:00 e 06:00, com base no horário esperado de conclusão dos dois lotes de jobs.

    2. O sistema estima o consumo de recursos com base na configuração atual da cota de assinatura.

       Nota

       As métricas de avaliação a seguir são estimadas principalmente usando CU-horas. Para obter detalhes sobre a lógica de cálculo, consulte os termos correspondentes na seção "Terminologia relacionada" abaixo.

       

       • Após adicionar o primeiro lote de jobs do Projeto A (pagamento conforme o uso) à cota de assinatura, são necessárias 2.000 CU-horas para executar todo o primeiro lote na cota, e há 1.000 CUs reservadas configuradas. O primeiro lote pode ser concluído em 2 horas. Nesse caso, o primeiro lote termina às 03:00. A latência do job é de 1 hora.

       • Após adicionar o segundo lote de jobs do Projeto A (pagamento conforme o uso) à cota de assinatura, são necessárias 1.000 CU-horas para executar todo o segundo lote na cota, e há 1.000 CUs reservadas configuradas. O segundo lote pode ser concluído em 1 hora. Nesse cenário, todos os jobs terminam por volta das 06:00. Não há latência de job.

       A estimativa para a configuração atual de recursos é a seguinte:

       Métrica de estimativa	Fórmula de cálculo	Primeiro lote de jobs	Segundo lote de jobs
       Satisfação da demanda	Calculada com base no consumo de recursos no horário esperado de conclusão: Used CU-hours/Actually required CU-hours	50% (Insuficiência de recursos)	100%
       Latência do job	Calculada se os jobs não forem concluídos antes do horário esperado: Actual completion time - Expected completion time	1 hora	0 minutos

    3. O sistema gera um plano ideal de otimização de configuração de recursos com base no objetivo de saída. O objetivo de saída refere-se ao horário limite para a conclusão de todos os jobs envolvidos. O sistema estima o consumo de recursos com base na configuração atual da cota de assinatura.

       • Plano de otimização: 1.000 CUs reservadas e 1.000 CUs elasticamente reservadas para o período das 01:00 às 02:00.

       • Resultados da otimização:

         • Para ambos os lotes de jobs, a satisfação da demanda é de 100% e a latência do job é de 0 minutos.

         • Custo do recurso (preço de tabela): 1.000 CU × 22,0 USD/CU + 1.000 CU × 0,0488 USD/CU/H × 1 H × 30 = 23.464 USD. Isso representa uma redução de 4.054,8 USD no custo mensal de computação pré-otimização de 27.518,8 USD.

  Termos (Clique para expandir)

  Use o recurso de otimização de recursos de computação do MaxCompute para gerar um plano de otimização de configuração de recursos com base no número real de solicitações de jobs e nas configurações de recursos esperadas. Recomendamos familiarizar-se com os termos relacionados antes de utilizar o recurso.

  • Termos comuns de recursos

    Termo	Descrição
    CU	Unidade básica de recursos. Uma CU equivale a 1 núcleo de CPU e 4 GB de memória.
    CU-hora	Define o uso de recursos. Fórmula: Number of CUs used × Usage duration.

  • Termos relacionados ao número de solicitações de jobs

    Nota

    O MaxCompute utiliza o algoritmo de identificação e decomposição de períodos desenvolvido pela Alibaba Cloud e pela DAMO Academy para estimar o número de CUs e o tempo de execução dos recursos de computação em diferentes planos de configuração. Essa estimativa baseia-se nos dados reais de solicitação de jobs de um grupo de cotas de assinatura de nível 1 especificado em 30 dias. O resultado considera integralmente a periodicidade e a flutuação.

    Termo	Descrição	Valor no exemplo anterior
    Configuração de CU	Número total de CUs reservadas e CUs elasticamente reservadas na configuração atual de recursos.	1.000 CUs

  • Termos relacionados às configurações esperadas de recursos

    Termo	Descrição	Valor no exemplo anterior
    Estimation time point	Horário limite para a conclusão dos jobs enviados. Compare o estimation time point com o horário real previsto de conclusão de um job para entender se haverá atraso sob diferentes planos de configuração de recursos. Se seus jobs puderem ser divididos em vários lotes para execução concentrada e você esperar que eles terminem antes de horários diferentes, defina múltiplos estimation time points.	Primeiro lote de jobs: 02:00 Segundo lote de jobs: 06:00
    Satisfied CU	Quantidade de recursos (CU-horas) consumida pelos jobs antes do estimation time point. Esses jobs foram enviados antes do estimation time point. Fórmula de cálculo: CU-hours for satisfied CUs=Number of used CUs × Runtime duration before the estimation time point	Primeiro lote de jobs: 1.000 CU-horas Segundo lote de jobs: 750 CU-horas
    Unsatisfied CU	Quantidade de recursos (CU-horas) consumida pelos jobs após o estimation time point. Esses jobs foram enviados antes do estimation time point. CU-hours for unsatisfied CUs = Number of used CUs × Runtime duration after the estimation time point	Primeiro lote de jobs: 500 CU-horas Segundo lote de jobs: 0 CU-horas
    Satisfação da demanda	Percentual de jobs concluídos antes do estimation time point. Esses jobs foram enviados antes do estimation time point. Fórmula de cálculo: Demand Satisfaction Degree = Satisfied CU / (Satisfied CU + Unsatisfied CU)	Primeiro lote de jobs: 66,67% Segundo lote de jobs: 100%
    Latência do job	Indica se o horário de conclusão de todos os jobs enviados antes do estimation time point é posterior ao horário esperado. Fórmula de cálculo: Job latency = Estimated time when all the jobs are completed - Estimation time point	Primeiro lote de jobs: 30 minutos Segundo lote de jobs: 0 minutos

  • Termos relacionados aos planos de otimização de configuração de recursos

    Termo	Descrição	Valor no exemplo anterior
    Objetivo de saída	Horário limite para a conclusão dos jobs. Por padrão, o horário esperado é o estimation time point. Você também pode configurar um horário anterior ao estimation time point para reservar tempo suficiente para a saída dos jobs. Alternativamente, configure a latência máxima permitida para aceitar um atraso específico na saída dos jobs e reduzir custos de recursos.	Primeiro lote de jobs: 02:00 Segundo lote de jobs: 06:00

  Limitações

  • O MaxCompute analisa recursos de computação e gera planos de otimização de configuração apenas para recursos de computação em uma cota de assinatura de nível 1 e recursos de computação pagamento conforme o uso.

    Nota

    • Os recursos de computação do MaxCompute suportam três métodos de faturamento: pagamento conforme o uso, assinatura e pagamento por hora. Para mais informações sobre o faturamento de diferentes recursos, consulte Billable items and billing methods.

    • Use o recurso de gerenciamento de cotas para alocar recursos de computação do MaxCompute em diferentes níveis de cotas. Para mais informações, consulte Manage quotas in the new MaxCompute console.

  • Este recurso está disponível apenas nas seguintes regiões: China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Shenzhen), China (Chengdu), China (Hong Kong), Singapore, Indonesia (Jakarta) e Germany (Frankfurt).

  Procedimento

  1. Faça login no MaxCompute console e selecione uma região no canto superior esquerdo.

  2. No painel de navegação à esquerda, escolha Intelligent Optimization > Computing Resource Config Optimization.

  3. Na página Intelligent Optimization > Computing Resource Config Optimization, selecione uma cota na lista suspensa Quota Name.

     • Ao selecionar uma cota de computação por assinatura, visualize recomendações para aumentar ou diminuir seus recursos de computação por assinatura existentes.

     • Ao selecionar uma cota de computação pagamento conforme o uso, visualize o plano de recursos recomendado e os resultados projetados para migrar um projeto de recursos pagamento conforme o uso para assinatura. O nome padrão de uma cota MaxCompute Pay-as-you-go Standard Edition é PayAsYouGoQuota_p.

  4. Caso selecione uma cota de computação pagamento conforme o uso, escolha o projeto vinculado aos recursos de computação Pay-as-you-go Standard Edition que deseja analisar.

     • A lista de projetos contém apenas projetos pagamento conforme o uso que atendem aos requisitos de análise. O projeto deve ter executado jobs diariamente nos últimos sete dias. Os dados da lista são atualizados diariamente às 00:00:00.

     • Para garantir uma experiência fluida na página, selecione até 20 projetos para avaliação simultânea.

  5. O Configuration Change Method vem selecionado por padrão.

     • Se você já possui uma cota de assinatura, o recurso de otimização avalia e recomenda alterações com base nas solicitações de recursos dessa cota existente.

     • Sem uma cota de assinatura prévia, o recurso recomenda a compra de uma nova cota com base nas solicitações de recursos do projeto especificado.

  6. Na página Intelligent Optimization > Computing Resource Config Optimization, clique em Analyze Computing Requirements.

     Visualize o gráfico de previsão diária de CU para um grupo de cotas primárias de assinatura específico e entenda as necessidades diárias previstas de recursos. Se utilizar uma cota primária antecipada existente para o Configuration Change Method, veja uma previsão cumulativa que combina as demandas de computação do projeto em upgrade ou downgrade com a cota de assinatura existente.

     • Não utilize este recurso se houver dados históricos insuficientes de solicitações de jobs ou se os dados não apresentarem padrões regulares.

     • Os valores estimados no gráfico são calculados usando o algoritmo de identificação e decomposição de períodos com base nos dados de solicitação de jobs de 30 dias.

  7. Na seção Set Estimation Time Point, defina o estimation time point para o horário desejado de conclusão dos jobs. Clique em Hour, Half Hour ou Deselect.

     O MaxCompute avalia então se os recursos são suficientes e se os jobs sofrerão atrasos em diferentes planos de configuração, considerando os estimation time points definidos. Para mais detalhes sobre a lógica, consulte How it works.

     Exemplos de configuração:

     • Para concluir todos os jobs até as 05:00 diariamente, defina o estimation time point como 05:00.

       Todos os jobs enviados entre 05:00:00 do dia anterior e 05:00:00 do dia atual são considerados um único lote. Estime a satisfação da demanda e a latência desse lote às 05:00:00 do dia atual.

     • Para concluir o primeiro lote às 02:00 e o segundo às 10:00 diariamente, defina dois estimation time points, como 02:00 e 10:00. O sistema executa o seguinte:

       • Todos os jobs enviados entre 10:00:00 do dia anterior e 02:00:00 do dia atual formam o primeiro lote. Estime a satisfação da demanda e a latência desse lote às 02:00:00 do dia atual.

       • Todos os jobs enviados entre 02:00:00 e 10:00:00 do dia atual formam o segundo lote. Estime a satisfação da demanda e a latência desse lote às 10:00:00 do dia atual.

  8. Na seção Set Output Goal, defina os horários-alvo de conclusão para seus jobs com a configuração otimizada.

     Por padrão, o horário do objetivo de otimização é o estimation time point. Defina um horário anterior ao estimation time point para reservar tempo extra para a saída dos jobs. Alternativamente, configure uma latência máxima aceitável para permitir um atraso específico na saída e reduzir custos de recursos.

  9. Clique em View Recommended Plan para revisar os detalhes e resultados esperados do plano recomendado.

     O resultado da otimização também aparece como uma simulação de consumo de CU para o plano recomendado. As informações são consistentes com o gráfico de avaliação do plano atual, permitindo comparação direta.

     Importante

     O plano recomendado serve apenas como referência e não garante o cumprimento total do objetivo de otimização. Altere gradualmente a configuração conforme necessário e monitore os resultados após a mudança.

  10. Na seção Recommended Plan, baixe o plano recomendado.

      Recomendamos baixar o plano como um arquivo .xlsx para facilitar o registro e a comparação entre planos. Em seguida, conforme suas necessidades de negócios, clique em Configure para aplicar as configurações na página Quotas.

  Próximos passos

  1. Após gerar um plano de otimização, avalie o custo otimizado de recursos de computação com base na configuração fornecida no plano.

     Monthly cost of computing resources (catalog price) = Number of purchased subscription CUs × USD 22.0 per month + Number of elastically reserved CUs × Scaling period (hours) × USD 0.0488 per CU-hour × 30

     Para mais informações sobre o faturamento de recursos por assinatura, consulte e Cost calculation (Pay-as-you-go). O preço real está sujeito à página de envio do pedido.

  2. Avalie o custo e o tempo de conclusão otimizado com base no custo e no objetivo de otimização do plano. Adquira recursos por assinatura seguindo o plano, altere gradualmente a configuração e monitore os resultados de execução dos jobs após a mudança.

  Referências

  • Melhores práticas para usar o recurso de otimização de recursos de computação: Use the cost optimization feature to achieve cost-effectiveness.

  • Para mais informações sobre otimização de custos do MaxCompute, consulte os seguintes tópicos:

    • Control compute costs

    • Storage cost optimization

    • Optimize data upload and download costs

    • Track costs