MaxCompute:Observação de recursos

Procedimento

1. Faça login no console do MaxCompute e selecione uma região no canto superior esquerdo.

2. No painel de navegação à esquerda, clique em Resource Observation.

3. Na página Resource Observation, clique na aba Computing Resource.

4. Selecione uma cota de nível 1, um intervalo de tempo e uma granularidade temporal.

   A granularidade temporal define a frequência dos pontos de dados. Escolha um intervalo adaptativo ou fixe em 1 minuto, 5 minutos ou 15 minutos. Para garantir o desempenho, o sistema ajusta automaticamente o intervalo para adaptativo se o período selecionado exceder 72 horas.

5. Clique no ícone à esquerda da cota de nível 2 desejada para visualizar seu gráfico de tendência de consumo de recursos. É possível expandir vários gráficos simultaneamente.

6. Visualize a lista de projetos associados a cada cota de nível 2.

Métricas

A lista de cotas e projetos associados indica quais projetos definiram a cota de nível 2 correspondente como cota de computação padrão.

Procedimento

1. Faça login no console do MaxCompute e selecione uma região no canto superior esquerdo.

2. No painel de navegação à esquerda, clique em Resource Observation.

3. Na página Resource Observation, clique na aba Storage Resource para visualizar o uso total de armazenamento e a distribuição de armazenamento do dia atual.

4. (Opcional) Selecione um intervalo de tempo (o padrão é 7d) e projetos (o padrão são todos os projetos; é possível selecionar até oito projetos) para visualizar a Storage Trend.

5. (Opcional) Na área Storage Details, na aba Project Details, selecione uma data (o padrão é o dia atual) para visualizar o uso de armazenamento de cada projeto.

6. (Opcional) Na área Storage Details, na aba Table/Partition Details, selecione uma data (o padrão é o dia atual) e um projeto para visualizar o uso detalhado de armazenamento de tabelas e partições nesse projeto.

Métricas

O MaxCompute não oferece suporte à visualização de uso de armazenamento por coluna. Para estimar o armazenamento no nível da coluna, exporte os dados da tabela e calcule o uso de cada coluna manualmente.

Procedimento

1. Faça login no console do MaxCompute e selecione uma região no canto superior esquerdo.

2. No painel de navegação à esquerda, escolha Observation O&M > Resource Observation.

3. Na página Resource Observation, clique na aba Data Transmission Service.

4. Selecione uma cota, projeto, intervalo de tempo e algoritmo de agregação para consultar o uso de cada métrica.

Notas de uso

Métricas

Procedimento

1. Faça login no console do MaxCompute e selecione uma região no canto superior esquerdo.

2. No painel de navegação à esquerda, clique em Resource Observation.

3. Na página Resource Observation, clique na aba Job Performance Observation.

4. Selecione os seguintes parâmetros para filtrar e agrupar jobs. Isso permite visualizar jobs específicos e agrupar dados de métricas em gráficos por diferentes dimensões.

   Parâmetro	Descrição
   Time range	Obrigatório. Filtra jobs concluídos com base no intervalo de tempo especificado (horários de início e fim). Escolha um intervalo de tempo predefinido ou configure um personalizado: 1d: Último 1 dia. 3d: Últimos 3 dias. 7d: Últimos 7 dias. Selecione um período específico: Clique na lista suspensa de intervalo de tempo, selecione a data desejada e clique em Select Time para escolher o período alvo. Nota O intervalo de tempo padrão é o último dia. O intervalo máximo é de 7 dias e o mínimo é de 1 hora. É possível pesquisar jobs dos últimos 45 dias.
   Choose Project	Filtra pelo nome do projeto MaxCompute. Nota Por padrão, todos os projetos estão selecionados. Selecione até 8 projetos.
   Select Quota	Filtra pela cota de computação. Nota Por padrão, todas as cotas de computação estão selecionadas. Selecione até 8 cotas de nível 2. Para mais informações sobre cotas de computação, consulte Manage computing quotas.
   Group By	Obrigatório. Dependendo do tipo de gráfico, agrupe os dados na visualização por múltiplas dimensões. Valores válidos para Group By: No Group (Padrão): Exibe as tendências de várias métricas para todos os jobs dentro do intervalo filtrado ao longo do tempo. Project: Exibe várias métricas para todos os jobs dentro do intervalo filtrado, agrupadas por projeto. Nota Ao agrupar por projeto, especifique os projetos nos parâmetros de filtro, até o limite de 8 projetos. Quotas: Exibe várias métricas para todos os jobs dentro do intervalo filtrado, agrupadas por cota de nível 2. Nota Ao agrupar por cota, especifique as cotas nos parâmetros de filtro, até o limite de 8 cotas de nível 2. Job type: Exibe várias métricas para todos os jobs dentro do intervalo filtrado, agrupadas por tipo de job. SQL: Job SQL. MCQA: Job SQL de MaxCompute Query Acceleration (MCQA). LOT: Job MapReduce. CUPID: Job Spark ou Mars. Algo_Task: Job de machine learning. GRAPH: Job de computação em grafo. Job End Status: Exibe várias métricas para todos os jobs dentro do intervalo filtrado, agrupadas pelo status final. Success: O job foi executado com êxito. Failed: O job falhou. Cancelled: O job foi cancelado.

5. Clique em Query para visualizar as estatísticas de cada métrica.

6. (Opcional) Selecione uma granularidade de Data Summary para visualizar as estatísticas de cada métrica com base na dimensão de tempo escolhida.

   Parâmetro	Descrição
   By Hour	Resume os dados em intervalos de uma hora. Mostra estatísticas de jobs que terminaram a execução na hora atual. Esta é a configuração padrão. Por exemplo, se a hora atual for 14:00 em 6 de maio de 2024, o resumo por hora mostra estatísticas de jobs concluídos entre 14:00 e 15:00 em 6 de maio de 2024.
   By Day	Resume os dados em intervalos de um dia. Mostra estatísticas de jobs que terminaram a execução no dia atual. Por exemplo, se a data atual for 6 de maio de 2024, o resumo por dia mostra estatísticas de jobs concluídos entre 00:00 de 6 de maio de 2024 e 00:00 de 7 de maio de 2024.

7. (Opcional) Selecione um Comparison Period para visualizar estatísticas históricas de uma data ou hora anterior.

   O padrão é No Comparison. As opções incluem Previous 30 Days, Previous 7 Days e Previous 1 Day. Por exemplo, para 14:00 em 6 de maio de 2024, os dados de comparação de 30 dias referem-se às estatísticas de 14:00 em 6 de abril de 2024.

Métricas

• CU Usage Trend (Unidade: Core*H)

  Métrica	Descrição
  CPU-hour (Unidade: Core*H)	Número de horas-CPU consumidas por jobs concluídos dentro do intervalo de filtro selecionado. Uma hora-CPU corresponde a um núcleo de CPU consumido durante uma hora. Horas-CPU = Número de núcleos de CPU × Duração.
  Memory-hour (Unidade: GB*H)	Quantidade de horas-memória consumidas por jobs concluídos dentro do intervalo de filtro selecionado. Uma hora-memória corresponde a 1 GB de memória consumido durante uma hora. Horas-memória = Tamanho da memória × Duração.
  CPU-hour/Top 10 Memory-Hour Consumption Analysis	Classifica os 10 principais jobs por consumo de horas-CPU ou horas-memória. Lista também as 10 principais Signatures e ExtNodeIds com maior consumo total ou médio dentro do intervalo de filtro selecionado.

• Job Runtime Period (Unidade: segundos)

  Métrica	Descrição
  Average Value	Tempo médio de execução dos jobs concluídos dentro do intervalo de filtro selecionado.
  Maximum Value	Maior tempo de execução dos jobs concluídos dentro do intervalo de filtro selecionado.
  Minimum Value	Menor tempo de execução dos jobs concluídos dentro do intervalo de filtro selecionado.
  Quantile	Tempo de execução de jobs para um quantil específico (incluindo os percentis 1, 5, 10, 50, 90, 95 e 99) dos jobs concluídos dentro do intervalo de filtro selecionado. Por exemplo, o percentil 99 indica que 99% dos jobs foram concluídos dentro deste tempo de execução.
  Top 10 Job Runtime Analysis	Apresenta os 10 jobs com maior tempo total de execução, além das 10 principais Signatures e ExtNodeIds com maior tempo total ou médio de execução dentro do intervalo de filtro selecionado.

• Job Count Trend (Unidade: contagem): Número de jobs concluídos dentro do intervalo de filtro selecionado.

• Job Input Size Trend (Unidade: GB, ajustada automaticamente com base na escala do gráfico): Quantidade de dados verificados pelos jobs concluídos dentro do intervalo de filtro selecionado.

• Trend of Job Input Size per CU-Hour (Unidade: GB, ajustada automaticamente com base na escala do gráfico): Tamanho médio dos dados verificados pelos jobs por CU-hora dentro do intervalo de filtro selecionado. Uma CU-hora inclui 1 núcleo de CPU e 4 GB de memória. O cálculo usa a fórmula MAX(CPU-hour, CEILING(memory-hour/4)).

Também é possível coletar estatísticas das métricas acima usando o tenant-level Information Schema. Observe que a tabela Information Schema task_history contém todos os task instances resultantes de operações, enquanto as métricas na aba Job Performance Observation no console contam apenas jobs que consomem recursos de computação. Portanto, os resultados estatísticos podem divergir.

Segue um exemplo de consulta:

SET odps.namespace.schema=TRUE;
SELECT to_char (end_time, 'yyyy-mm-dd hh'), -- The hour when the job finished.
       -- to_char (end_time, 'yyyy-mm-dd'), -- For daily granularity, use this line to replace the preceding one. This indicates the date when the job finished.
       sum(cast(cost_cpu/100/3600 as DECIMAL(18,5) )) cost_cpuh, -- CPU-hour
       sum(cast(cost_mem/1024/3600 as DECIMAL(18,5) )) cost_memh, -- Memory-hour
       avg(datediff(end_time, start_time, 'ss')), -- Average job runtime
       min(datediff(end_time, start_time, 'ss')), -- Minimum job runtime
       max(datediff(end_time, start_time, 'ss'))  -- Maximum job runtime
       -- status, -- Grouping basis: status: job status; project: task_catalog; job type: task_type.
FROM SYSTEM_CATALOG.INFORMATION_SCHEMA.tasks_history
WHERE ds>=to_char(date_add(getdate(),-7),'yyyymmdd')  -- Modify or add other filter conditions as needed.
and task_type in ('SQL','SQLRT','LOT','CUPID','ALgoTask')
GROUP BY to_char (end_time, 'yyyy-mm-dd hh')
         -- to_char (end_time, 'yyyy-mm-dd'), -- For daily granularity, use this line to replace the preceding one. This indicates the date when the job finished.
         -- status, -- Grouping basis: status: job status; project: task_catalog; job type: task_type.
order BY to_char (end_time, 'yyyy-mm-dd hh') ASC;
         -- to_char (end_time, 'yyyy-mm-dd'); -- For daily granularity, use this line to replace the preceding one. This indicates the date when the job finished.

Perguntas frequentes

• Pergunta 1:

  • P: Por que alguns projetos ou cotas estão ausentes na legenda do gráfico após o agrupamento?

  • R: Isso ocorre quando a contagem de jobs para um projeto ou cota é zero dentro do intervalo de tempo selecionado.

• Pergunta 2:

  • P: Por que os dados de comparação de um período anterior estão ausentes?

  • R: Os dados podem estar ausentes se o projeto ou cota não existia ou não tinha jobs durante o período de comparação.