MaxCompute:Use a otimização de custos para reduzir despesas e aumentar a eficiência

Observações

• Os preços apresentados neste tópico servem apenas como referência. Para obter os valores reais, consulte a página de compra do product.

• Recomendamos fazer uma transição gradual para o plano sugerido, conforme suas necessidades de negócios, e monitorar o desempenho após aplicar as alterações.

Cenário 1: Custos elevados devido a recursos ociosos na assinatura

Uma empresa em fase inicial de construção de seu data warehouse adquiriu 200 CUs reservadas de recursos de computação por assinatura para garantir que um lote crítico de jobs executados de madrugada fosse concluído até as 08:00. Diariamente, 520 jobs são executados nesses recursos e terminam no prazo ou antes dele, mas o custo mensal de computação atinge 4.400 USD.

Recentemente, o departamento de big data recebeu um OKR de redução de custos. O gestor da área desejava cortar despesas sem afetar os prazos de conclusão dos jobs críticos, mas não sabia como elaborar o melhor plano. Um engenheiro de dados sugeriu usar o recurso de otimização de custos do MaxCompute e demonstrou as etapas abaixo:

1. Acesse a página de otimização de custos.

   1. Faça login no console do MaxCompute. No canto superior esquerdo, selecione uma região. No painel de navegação à esquerda, escolha Intelligent Optimization > Computing Resource Config Optimization.

   2. Na página Computing Resource Config Optimization, selecione uma cota de nível 1 por assinatura para visualizar a previsão diária de solicitação de CU.

   A previsão de solicitação de CU reflete com precisão a carga de trabalho atual: lotes menores de jobs são executados a cada hora, com um pico entre 05:00 e 08:00.

2. Defina os pontos de tempo de estimativa.

   Na seção Set Estimation Time Point, o engenheiro define dois pontos de tempo de estimativa com base no fluxo de trabalho de negócios: 05:00 e 08:00. Isso garante que os jobs pré-críticos terminem até as 05:00 e que o próprio lote crítico seja concluído até as 08:00.

3. Visualize o resultado da avaliação do plano atual.

   Clique em Current Plan Estimation para verificar o status de conclusão dos jobs sob a configuração de recursos atual.

   

   O gráfico CU Consumption Simulation mostra que, com a configuração atual (200 CUs reservadas), nenhum job sofre atraso, mas existe um tempo ocioso significativo de recursos, indicando espaço para otimização de custos.

4. Defina o objetivo de otimização.

   Abaixo do gráfico CU Consumption Simulation, a seção Set Optimization Goal exibe o status atual de atraso para cada ponto de tempo de estimativa, alinhado ao gráfico de simulação.

   O engenheiro nota que os objetivos de otimização usam como padrão os pontos de tempo de estimativa, que correspondem aos horários necessários de conclusão dos jobs. Em seguida, ele clica em Generate Recommended Plan.

5. Analise o plano recomendado.

   O plano sugerido propõe a compra de 50 CUs reservadas e a adição de 50 CUs reservadas elásticas para as janelas de tempo 04:00–05:00 e 06:00–08:00. A estimativa indica que os jobs críticos ainda terminarão antes das 08:00, enquanto o custo mensal de computação cai para 1.319,6 USD — uma economia de aproximadamente 70% em comparação ao plano atual.

   

   Como um atraso de 30 minutos não impactaria significativamente os negócios, o engenheiro decide ajustar o objetivo de otimização.

6. Ajuste o objetivo de otimização.

   Retorne à seção Set Optimization Goal e altere o objetivo de otimização para o ponto de tempo de estimativa das 08:00 para 08:30.

7. Verifique o novo plano recomendado.

   Clique novamente em Generate Recommended Plan. O novo plano sugere a compra de 50 CUs reservadas e a adição de 50 CUs reservadas elásticas para as janelas de tempo 04:00–05:00 e 06:00–07:00. A previsão é que os jobs críticos terminem antes das 08:30, e o custo de computação diminui ainda mais para 1.246,4 USD — uma economia de cerca de 71,7% em relação ao plano atual.

8. Implemente o plano recomendado de forma gradual.

   O departamento opta por uma implementação em fases, começando pela redução das CUs reservadas para 100 e reavaliando após um período de teste. Como o volume de jobs não aumentou significativamente, o sistema continuou recomendando o redimensionamento e a adição de CUs reservadas elásticas. A equipe então implementou o plano inicial recomendado, que não apresentou atrasos. Após um período de testes, os jobs críticos continuaram sendo concluídos no prazo quase todos os dias, e a equipe conseguiu reduzir com sucesso seus custos de computação.

Cenário 2: Atrasos em jobs devido a recursos insuficientes na assinatura

Uma empresa adquiriu 60 CUs reservadas de recursos de computação por assinatura para seu data warehouse. Todos os dias, 520 jobs são executados nesses recursos, e espera-se que um lote de jobs críticos iniciado por volta das 05:00 termine até as 08:00. Com a expansão dos negócios e o crescimento do volume de dados, um engenheiro percebe atrasos frequentes nos jobs causados pela insuficiência de CUs reservadas. Para resolver os atrasos sem um aumento significativo de custos, o engenheiro utiliza o recurso de otimização de custos no console do MaxCompute:

1. Acesse a página de otimização de custos.

   1. Faça login no console do MaxCompute. No canto superior esquerdo, selecione uma região. No painel de navegação à esquerda, escolha Intelligent Optimization > Computing Resource Config Optimization.

   2. Na página Computing Resource Config Optimization, selecione uma cota de nível 1 por assinatura para visualizar a previsão diária de solicitação de CU.

      A previsão de solicitação de CU corresponde à carga de trabalho atual: jobs menores são executados a cada hora, com um pico entre 05:00 e 08:00.

2. Defina os pontos de tempo de estimativa.

   Na seção Set Estimation Time Point, o engenheiro estabelece dois pontos de tempo de estimativa baseados no fluxo de trabalho de negócios: 05:00 e 08:00. Essa configuração assegura que os jobs pré-críticos terminem até as 05:00 e o lote crítico até as 08:00.

3. Confira o resultado da avaliação do plano atual.

   Clique em Current Plan Estimation para checar o status de conclusão dos jobs considerando a configuração de recursos vigente.

   

   O gráfico CU Consumption Simulation indica que, com a configuração atual (60 CUs reservadas), os jobs enviados antes das 05:00 devem sofrer um atraso estimado de 3 minutos. Já os jobs críticos enviados entre 05:00 e 08:00 apresentam atrasos estimados de até 48 minutos. Essa simulação está alinhada com os atrasos reais observados.

4. Estabeleça o objetivo de otimização.

   Abaixo do gráfico CU Consumption Simulation, a seção Set Optimization Goal apresenta o status atual de atraso para cada ponto de tempo de estimativa, coerente com o gráfico de simulação.

   O engenheiro observa que os objetivos de otimização têm como padrão os horários desejados de conclusão. Ele clica em Generate Recommended Plan.

5. Examine o plano recomendado.

   O gráfico CU Consumption Simulation (Recommended Plan) exibe o plano recomendado: adquirir 50 CUs reservadas e adicionar 50 CUs reservadas elásticas para as janelas de tempo 04:00–05:00 e 06:00–08:00. Esse plano elimina os atrasos tanto para os prazos das 05:00 quanto das 08:00, reduzindo simultaneamente o custo em 0,4 USD/mês em comparação ao plano atual.

   

6. Após um período de testes, o engenheiro constata que os jobs críticos são concluídos no prazo quase todos os dias, melhorando a eficiência de desenvolvimento sem um aumento significativo no custo de computação.

   Configure o plano recomendado.

   O custo estimado é aceitável. O engenheiro começa configurando apenas as CUs reservadas elásticas recomendadas e monitorando o desempenho, sem ajustar imediatamente as CUs reservadas.

   1. No painel de navegação à esquerda do console do MaxCompute, escolha Workspace > Quotas.

   2. Na página Quotas, localize a cota de nível 1 avaliada e clique em Quota Configuration na coluna Actions.

   3. Na página Quota Configuration, acesse a aba Quota Plans e clique em Add Plan.

   4. Na caixa de diálogo Add Quota Plan, defina Elastically Reserved CUs como 50 e clique em OK.

   5. Configure o plano de tempo da cota com base nas janelas de tempo recomendadas. Para mais informações, consulte Configure a Quota.

      Start time	Enabled quota plan
      00:00	Default
      04:00	O plano de cota recém-adicionado.
      05:00	Default
      06:00	O plano de cota recém-adicionado.
      08:00	Default

      Nota

      O plano Default possui 0 CUs reservadas elásticas.