Otimização da configuração de recursos de computação do MaxCompute - MaxCompute: Central de Documentação do Alibaba Cloud

Como funciona

Os três casos de uso a seguir mostram como o MaxCompute gera planos de otimização de configuração de recursos.

Caso de uso 1: Otimizar uma cota de assinatura existente

Descrição

Uma empresa utiliza recursos de computação por assinatura. O plano atual reserva 1.000 CUs para jobs. Dois lotes de jobs executam nesses recursos em horários fixos todos os dias:
- Primeiro lote: Os jobs são enviados antes das 01:00 e devem terminar até as 02:00. No entanto, na configuração atual, os jobs não cumprem esse prazo.
- Segundo lote: Os jobs são enviados antes das 05:00 e devem terminar até as 06:00.
- Custo do recurso (preço de tabela): O custo mensal de recursos de computação é , e 1.000 CU × 22,0 USD/CU = 22.000 USD.

Lógica do MaxCompute para gerar um plano de otimização

O MaxCompute prevê o volume diário de solicitações de CU com base nas informações do cenário.
1. Com base nos dados de execução dos dois lotes de jobs nos últimos 30 dias, o MaxCompute prevê a carga de trabalho necessária para concluí-los. Suponha que os dois valores previstos sejam:
  - Primeiro lote de jobs
    
    Os jobs consomem 1.500 CUs e executam por 1 hora. O uso de recursos é 1.500 CU × 1 h = 1.500 CU-horas.
  - Segundo lote de jobs
    
    Os jobs consomem 750 CUs e executam por 1 hora. O uso de recursos é 750 CU × 1 h = 750 CU-horas.
2. Defina dois Estimation time points com base nos horários esperados de conclusão dos lotes de jobs: 02:00 e 06:00.

Em seguida, o MaxCompute avalia o consumo de recursos na configuração atual.

Nota

As métricas de avaliação a seguir são estimadas principalmente usando CU-horas. Para obter a lógica detalhada de cálculo, consulte os termos correspondentes na seção "Terminologia relacionada" abaixo.

Para o primeiro lote de jobs, são necessárias 1.500 CU-horas e há 1.000 CUs reservados configurados. O primeiro lote pode ser concluído em 1,5 horas. Nesse caso, o primeiro lote de jobs termina às 02:30. A latência do job é de 30 minutos.

Para o segundo lote de jobs, são necessárias 750 CU-horas e há 1.000 CUs reservados configurados. O segundo lote pode ser concluído em 0,75 horas. Nesse cenário, todos os jobs terminam por volta das 05:45. Há CUs redundantes disponíveis e não existe latência de job.

A estimativa a seguir baseia-se na configuração atual de recursos:

Métrica de estimativa

Fórmula de cálculo

Primeiro lote de jobs

Segundo lote de jobs

Satisfação da demanda

Horário esperado de conclusão:

Used CU-hours/Actually required CU-hours

66,67%

(Insuficiência de recursos)

100%

(Redundância de recursos)

Latência do job

Se os jobs não forem concluídos antes do horário esperado:

Actual completion time - Expected completion time

30 minutos

0 minutos

O sistema gera um plano ideal de otimização de configuração de recursos com base no objetivo de saída. O objetivo de saída refere-se ao horário limite para a conclusão de todos os jobs envolvidos.
- Plano de otimização: 750 CUs reservados e 750 CUs elasticamente reservados para o período das 01:00 às 02:00.
- Resultados da otimização:
  - Para ambos os lotes de jobs, a satisfação da demanda é de 100% e a latência do job é de 0 minutos.
  - Custo do recurso (preço de tabela): 750 CU × 22,0 USD/CU + 750 CU × 0,0488 USD/CU/H × 1 H × 30 = 17.598 USD. Isso representa uma redução de 4.402 USD no custo mensal de computação pré-otimização de 1.000 CU × 22,0 USD/CU = 22.000 USD.

Caso de uso 2: Migrar um projeto pagamento conforme o uso para uma nova cota de assinatura

Descrição

Uma empresa utiliza o MaxCompute Pay-as-you-go Standard Edition. O Projeto A possui dois lotes de jobs que executam em horários fixos todos os dias:
- Primeiro lote de jobs: Todos os jobs são enviados e iniciados antes das 01:00 diariamente. A empresa espera concluir esses jobs antes das 02:00.
- Segundo lote de jobs: Todos os jobs são enviados e iniciados antes das 05:00 diariamente. A empresa espera concluir esses jobs antes das 06:00.
- Custo do recurso (preço de tabela): Jobs SQL no modelo pagamento conforme o uso são cobrados com base no volume de verificação de dados. O volume médio diário de verificação de dados é de cerca de 1.200 GB. O custo mensal de computação é 1.200 GB × 0,0438 USD/GB × 30 = 1.576,8 USD.
A empresa deseja adquirir uma cota de computação por assinatura para executar os jobs de computação no Projeto A.
Lógica do MaxCompute para gerar um plano de otimização
1. O sistema estima o número de solicitações diárias de CU com base nas informações básicas do cenário.
  1. Com base nos resultados de execução de dois lotes de jobs em 30 dias, o sistema estima as CU-horas consumidas separadamente por cada lote. O conteúdo a seguir lista os valores estimados.
    - Primeiro lote de jobs
      
      Os jobs consomem 100 CUs e executam por 1 hora. O uso de recursos é 100 CU × 1 h = 100 CU-horas.
    - Segundo lote de jobs
      
      Os jobs consomem 50 CUs e executam por 1 hora. O uso de recursos é 50 CU × 1 h = 50 CU-horas.
  2. O sistema define dois estimation time points, 02:00 e 06:00, com base no horário esperado de conclusão dos dois lotes de jobs. O sistema também define o objetivo de saída. Por padrão, a latência de job não é permitida.
2. O sistema gera um plano ideal de otimização de configuração de recursos com base no objetivo de saída. Esse objetivo refere-se ao horário limite para a conclusão de todos os jobs envolvidos.
  - Plano de otimização: 50 CUs reservados e 50 CUs elasticamente reservados para o período das 01:00 às 02:00.
  - Resultados da otimização:
    - Para ambos os lotes de jobs, a satisfação da demanda é de 100% e a latência do job é de 0 minutos.
    - Custo do recurso (preço de tabela): 50 CU × 22,0 USD/CU + 50 CU × 0,0488 USD/CU/H × 1 H × 30 = 1.173,2 USD. Isso representa uma redução de 403,6 USD no custo mensal de computação pré-otimização de 1.576,8 USD.

Caso de uso 3: Consolidar um projeto pagamento conforme o uso em uma cota de assinatura existente

Descrição

Uma empresa adquiriu recursos de computação específicos por assinatura. No plano atual de configuração de recursos, 1.000 unidades de computação reservadas (CUs) estão configuradas para jobs. Dois lotes de jobs consomem as CUs reservadas todos os dias.
- Primeiro lote de jobs: Todos os jobs são enviados e iniciados antes das 01:00 diariamente. A empresa espera concluir esses jobs antes das 02:00.
- Segundo lote de jobs: Todos os jobs são enviados e iniciados antes das 05:00 diariamente. A empresa espera concluir esses jobs antes das 06:00.
- Custo do recurso (preço de tabela): O custo mensal de recursos de computação é 1.000 CU × 22,0 USD/CU = 22.000 USD.
A empresa ativa o MaxCompute faturado no modelo pagamento conforme o uso. No Projeto A, dois lotes de jobs executam com recursos pagamento conforme o uso em períodos fixos todos os dias.
- Primeiro lote de jobs: Todos os jobs são enviados e iniciados antes das 01:00 diariamente. A empresa espera concluir esses jobs antes das 02:00.
- Segundo lote de jobs: Todos os jobs são enviados e iniciados antes das 05:00 diariamente. A empresa espera concluir esses jobs antes das 06:00.
- Custo do recurso (preço de tabela): Jobs SQL no modelo pagamento conforme o uso são cobrados com base no volume de verificação de dados. O volume médio diário de verificação de dados é de cerca de 4.200 GB. O custo mensal de computação é 4.200 GB × 0,0438 USD/GB × 30 = 5.518,8 USD.
O custo mensal total de recursos de computação é 22.000 + 5.518,8 = USD 27.518,8.

A empresa deseja executar os jobs de computação do Projeto A na cota de assinatura existente e garantir que os jobs sejam concluídos no horário esperado.

Lógica do MaxCompute para gerar um plano de otimização

O sistema estima o número de solicitações diárias de CU do projeto pagamento conforme o uso e da cota de assinatura com base nas informações básicas do cenário.
1. Com base nos dados de execução dos dois lotes de jobs na cota de assinatura nos últimos 30 dias, o sistema prevê os recursos (CU-horas) necessários para concluir cada lote. Suponha que os valores previstos sejam os seguintes:
  - Primeiro lote de jobs
    
    Os jobs exigem 1.500 CUs e executam por 1 hora. O uso de recursos é 1.500 CU × 1 h = 1.500 CU-horas.
  - Segundo lote de jobs
    
    Os jobs exigem 750 CUs e executam por 1 hora. O uso de recursos é 750 CU × 1 h = 750 CU-horas.
2. Com base nos dados de execução dos dois lotes de jobs no Projeto A nos últimos 30 dias, o sistema prevê os recursos (CU-horas) necessários para concluir cada lote. Suponha que os valores previstos sejam os seguintes:
  - Primeiro lote de jobs
    
    Os jobs exigem 500 CUs e executam por 1 hora. O uso de recursos é 500 CU × 1 h = 500 CU-horas.
  - Segundo lote de jobs
    
    Os jobs exigem 250 CUs e executam por 1 hora. O uso de recursos é 250 CU × 1 h = 250 CU-horas.
3. O sistema define dois estimation time points, 02:00 e 06:00, com base no horário esperado de conclusão dos dois lotes de jobs.

O sistema estima o consumo de recursos com base na configuração atual da cota de assinatura.

Nota

As métricas de avaliação a seguir são estimadas principalmente usando CU-horas. Para obter a lógica detalhada de cálculo, consulte os termos correspondentes na seção "Terminologia relacionada" abaixo.

Após adicionar o primeiro lote de jobs do Projeto A (pagamento conforme o uso) à cota de assinatura, são necessárias 2.000 CU-horas para executar todo o primeiro lote na cota, e há 1.000 CUs reservados configurados. O primeiro lote pode ser concluído em 2 horas. Nesse caso, o primeiro lote termina às 03:00. A latência do job é de 1 hora.
Após adicionar o segundo lote de jobs do Projeto A (pagamento conforme o uso) à cota de assinatura, são necessárias 1.000 CU-horas para executar todo o segundo lote na cota, e há 1.000 CUs reservados configurados. O segundo lote pode ser concluído em 1 hora. Nesse cenário, todos os jobs terminam por volta das 06:00. Não há latência de job.

A estimativa para a configuração atual de recursos é a seguinte:

Métrica de estimativa	Fórmula de cálculo	Primeiro lote de jobs	Segundo lote de jobs
Satisfação da demanda	Calculada com base no consumo de recursos no horário esperado de conclusão: Used CU-hours/Actually required CU-hours	50% (Insuficiência de recursos)	100%
Latência do job	Calculada se os jobs não forem concluídos antes do horário esperado: Actual completion time - Expected completion time	1 hora	0 minutos

O sistema gera um plano ideal de otimização de configuração de recursos com base no objetivo de saída. Esse objetivo refere-se ao horário limite para a conclusão de todos os jobs envolvidos. O sistema estima o consumo de recursos com base na configuração atual da cota de assinatura.
- Plano de otimização: 1.000 CUs reservados e 1.000 CUs elasticamente reservados para o período das 01:00 às 02:00.
- Resultados da otimização:
  - Para ambos os lotes de jobs, a satisfação da demanda é de 100% e a latência do job é de 0 minutos.
  - Custo do recurso (preço de tabela): 1.000 CU × 22,0 USD/CU + 1.000 CU × 0,0488 USD/CU/H × 1 H × 30 = 23.464 USD. Isso representa uma redução de 4.054,8 USD no custo mensal de computação pré-otimização de 27.518,8 USD.

Termos (Clique para expandir)

Use o recurso de otimização de recursos de computação do MaxCompute para gerar um plano de otimização de configuração de recursos com base no número real de solicitações de jobs e nas configurações esperadas de recursos. Recomendamos familiarizar-se com os termos relacionados antes de explorar o recurso.

Termos comuns de recursos

Termo	Descrição
CU	Unidade básica de recursos. Uma CU equivale a 1 núcleo de CPU e 4 GB de memória.
CU-hora	Define o uso de recursos. Fórmula: `Number of CUs used × Usage duration`.

Termos relacionados ao número de solicitações de jobs

Nota

O MaxCompute utiliza o algoritmo de identificação e decomposição de períodos desenvolvido pela Alibaba Cloud e pela DAMO Academy para estimar o número de CUs e o tempo de execução de recursos de computação em diferentes planos de configuração. Essa estimativa baseia-se nos dados reais de solicitação de jobs de um grupo de cotas de assinatura de nível 1 especificado em 30 dias. O resultado considera integralmente a periodicidade e a flutuação.

Termo	Descrição	Valor no exemplo anterior
Configuração de CU	Número total de CUs reservados e CUs elasticamente reservados na configuração atual de recursos.	1.000 CUs

Termos relacionados às configurações esperadas de recursos

Estimation time point	Horário limite para a conclusão dos jobs enviados. Compare o estimation time point com o horário real previsto de conclusão de um job para entender se haverá atraso sob diferentes planos de configuração de recursos. Se seus jobs puderem ser divididos em vários lotes para execução concentrada, e você esperar que eles terminem antes de horários diferentes, defina múltiplos estimation time points.	Primeiro lote de jobs: 02:00 Segundo lote de jobs: 06:00
Satisfied CU	Quantidade de recursos (CU-horas) consumida pelos jobs antes do estimation time point. Esses jobs foram enviados antes desse horário. Fórmula de cálculo: `CU-hours for satisfied CUs=Number of used CUs × Runtime duration before the estimation time point`	Primeiro lote de jobs: 1.000 CU-horas Segundo lote de jobs: 750 CU-horas
Unsatisfied CU	Quantidade de recursos (CU-horas) consumida pelos jobs após o estimation time point. Esses jobs foram enviados antes desse horário. `CU-hours for unsatisfied CUs = Number of used CUs × Runtime duration after the estimation time point`	Primeiro lote de jobs: 500 CU-horas Segundo lote de jobs: 0 CU-horas
Satisfação da demanda	Percentual de jobs concluídos antes do estimation time point. Refere-se aos jobs enviados antes desse horário. Fórmula de cálculo: `Demand Satisfaction Degree = Satisfied CU / (Satisfied CU + Unsatisfied CU)`	Primeiro lote de jobs: 66,67% Segundo lote de jobs: 100%
Latência do job	Indica se o horário de conclusão de todos os jobs enviados antes do estimation time point ultrapassa o horário esperado. Fórmula de cálculo: `Job latency = Estimated time when all the jobs are completed - Estimation time point`	Primeiro lote de jobs: 30 minutos Segundo lote de jobs: 0 minutos

Termos relacionados aos planos de otimização de configuração de recursos

Objetivo de saída

Horário limite para a conclusão dos jobs. Por padrão, o horário esperado é o estimation time point. Configure um horário anterior ao estimation time point para reservar tempo suficiente para a saída do job. Alternativamente, configure a latência máxima permitida para aceitar um atraso específico na saída do job e reduzir custos de recursos.

Primeiro lote de jobs: 02:00
Segundo lote de jobs: 06:00

Limitações

O MaxCompute analisa recursos de computação e gera planos de otimização de configuração apenas para recursos de computação em uma cota de assinatura de nível 1 e recursos de computação pagamento conforme o uso.
Nota
- Os recursos de computação do MaxCompute suportam três métodos de faturamento: pagamento conforme o uso, assinatura e pagamento por hora. Para mais informações sobre o faturamento de diferentes recursos, consulte Itens faturáveis e métodos de faturamento.
- Use o recurso de gerenciamento de cotas para alocar recursos de computação do MaxCompute em diferentes níveis de cotas. Para mais informações, consulte Gerenciar cotas no novo console do MaxCompute.
Este recurso está disponível apenas nas seguintes regiões: China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Shenzhen), China (Chengdu), China (Hong Kong), Singapura, Indonésia (Jacarta) e Alemanha (Frankfurt).

Procedimento

Faça login no console do MaxCompute e selecione uma região no canto superior esquerdo.
No painel de navegação à esquerda, escolha Intelligent Optimization > Computing Resource Config Optimization.
Na página Intelligent Optimization > Computing Resource Config Optimization, selecione uma cota na lista suspensa Quota Name.
- Ao selecionar uma cota de computação por assinatura, visualize recomendações para aumentar ou diminuir seus recursos de computação por assinatura existentes.
- Ao selecionar uma cota de computação pagamento conforme o uso, visualize o plano de configuração de recursos recomendado e os resultados projetados para migrar um projeto de recursos pagamento conforme o uso para recursos por assinatura. O nome padrão para uma cota pagamento conforme o uso Standard Edition é PayAsYouGoQuota_p.
Caso selecione uma cota de computação pagamento conforme o uso, escolha o projeto vinculado aos recursos de computação pagamento conforme o uso Standard Edition que você deseja analisar.
- A lista de projetos contém apenas projetos pagamento conforme o uso que atendem aos requisitos de análise. O projeto deve ter executado jobs diariamente nos últimos sete dias. Os dados da lista são atualizados diariamente às 00:00:00.
- Para garantir uma experiência fluida na página, selecione até 20 projetos para avaliação por vez.
O Configuration Change Method vem selecionado por padrão.
- Se você já possui uma cota de assinatura, o recurso de otimização avalia e recomenda alterações com base nas solicitações de recursos dessa cota existente.
- Se não houver uma cota de assinatura, o recurso recomenda a compra de uma nova cota com base nas solicitações de recursos do projeto especificado.
Na página Intelligent Optimization > Computing Resource Config Optimization, clique em Analyze Computing Requirements.

Visualize o gráfico de previsão diária de CU para um grupo de cotas de assinatura primário específico e entenda as necessidades diárias previstas de recursos. Se utilizar uma cota primária antecipada existente para o Configuration Change Method, veja uma previsão cumulativa que combina as demandas de computação do projeto sendo ajustado com a cota de assinatura existente.
- Não é possível usar este recurso se os dados históricos de solicitação de jobs forem insuficientes ou se não apresentarem padrões regulares.
- Os valores estimados no gráfico são calculados usando o algoritmo de identificação e decomposição de períodos com base nos dados de solicitação de jobs de 30 dias.
Na seção Set Estimation Time Point, defina o estimation time point para o horário desejado de conclusão dos jobs. Clique em Hour, Half Hour ou Deselect.

O MaxCompute então avalia se os recursos são suficientes e se os jobs sofrerão atrasos em diferentes planos de configuração, considerando os estimation time points definidos. Para mais detalhes sobre a lógica, consulte Como funciona.
Exemplos de configuração:
- Para concluir todos os jobs até as 05:00 diariamente, defina o estimation time point como 05:00.
  
  Todos os jobs enviados entre 05:00:00 do dia anterior e 05:00:00 do dia atual são considerados um único lote. Estime a satisfação da demanda e a latência desse lote às 05:00:00 do dia atual.
- Para concluir o primeiro lote às 02:00 e o segundo às 10:00 diariamente, defina dois estimation time points, como 02:00 e 10:00. O sistema executa o seguinte:
  - Todos os jobs enviados entre 10:00:00 do dia anterior e 02:00:00 do dia atual formam o primeiro lote. Estime a satisfação da demanda e a latência desse lote às 02:00:00 do dia atual.
  - Todos os jobs enviados entre 02:00:00 e 10:00:00 do dia atual formam o segundo lote. Estime a satisfação da demanda e a latência desse lote às 10:00:00 do dia atual.
Na seção Set Output Goal, defina os horários alvo de conclusão para seus jobs com a configuração otimizada.

Por padrão, o horário do objetivo de otimização é o estimation time point. Defina um horário anterior ao estimation time point para reservar tempo extra para a saída do job. Alternativamente, configure uma latência máxima aceitável para permitir um atraso específico na saída e reduzir custos de recursos.
Clique em View Recommended Plan para revisar os detalhes e resultados esperados do plano recomendado.

O resultado da otimização também aparece como uma simulação de consumo de CU para o plano recomendado. As informações são consistentes com o gráfico de avaliação do plano atual, permitindo comparação direta.

Importante
O plano recomendado serve apenas como referência e não garante que o objetivo de otimização será totalmente alcançado. Altere a configuração gradualmente conforme necessário e monitore os resultados após a mudança.

Na seção Recommended Plan, baixe o plano recomendado.

Recomendamos baixar o plano como um arquivo .xlsx. Isso facilita o registro e a comparação entre diferentes planos. Em seguida, conforme suas necessidades de negócios, clique em Configure para aplicar as configurações na página Quotas.

Próximos passos

Após gerar um plano de otimização, avalie o custo otimizado de recursos de computação com base na configuração fornecida no plano.

Monthly cost of computing resources (catalog price) = Number of purchased subscription CUs × USD 22.0 per month + Number of elastically reserved CUs × Scaling period (hours) × USD 0.0488 per CU-hour × 30

Para mais informações sobre o faturamento de recursos por assinatura, consulte e Cálculo de custos (Pagamento conforme o uso). O preço real está sujeito ao valor exibido na página de envio do pedido.
Avalie o custo e o tempo de conclusão otimizado com base no custo e no objetivo de otimização do plano. Adquira recursos por assinatura seguindo o plano de otimização, altere a configuração gradualmente e monitore os resultados de execução dos jobs após a mudança.

Referências

Melhores práticas para usar o recurso de otimização de recursos de computação: Use o recurso de otimização de custos para alcançar eficiência.
Para mais informações sobre a otimização de custos do MaxCompute, consulte os seguintes tópicos: