MaxCompute:Observação de recursos

Procedimento

1. Acesse o MaxCompute console e selecione uma região no canto superior esquerdo.

2. No painel de navegação à esquerda, clique em Resource Observation.

3. Na página Resource Observation, clique em Computing Resource.

4. Selecione uma cota de nível 1, um intervalo de tempo e um intervalo de dados.

   O intervalo de dados define a frequência dos pontos de dados. É possível selecionar um intervalo adaptativo ou intervalos de 1 minuto, 5 minutos ou 15 minutos. Para garantir o desempenho, o sistema define automaticamente o intervalo como adaptativo quando o período selecionado supera 72 horas.

5. Clique em à esquerda de uma cota de nível 2 para visualizar o gráfico de tendência de consumo de recursos. Vários gráficos podem ser expandidos ao mesmo tempo.

6. Visualize a lista de projetos associados a cada cota de nível 2.

Métricas

A lista de cotas e projetos associados mostra quais projetos definiram a cota de nível 2 correspondente como cota de computação padrão.

Procedimento

1. Acesse o MaxCompute console e selecione uma região no canto superior esquerdo.

2. No painel de navegação à esquerda, clique em Resource Observation.

3. Na página Resource Observation, clique em Storage Resource para visualizar o uso total de armazenamento e a distribuição de armazenamento do dia atual.

4. (Opcional) Selecione um intervalo de tempo (padrão: 7d) e projetos (padrão: todos os projetos; é possível selecionar até oito projetos) para visualizar o Storage Trend.

5. (Opcional) Na área Storage Details, na aba Project Details, selecione uma data (padrão: dia atual) para visualizar o uso de armazenamento de cada projeto.

6. (Opcional) Na área Storage Details, na aba Table/Partition Details, selecione uma data (padrão: dia atual) e um projeto para visualizar o uso detalhado de armazenamento de tabelas e partições no projeto.

Métricas

O MaxCompute não oferece suporte para visualização do uso de armazenamento por coluna. Para estimar o armazenamento no nível de coluna, exporte os dados da tabela e calcule o uso de cada coluna.

Procedimento

1. Acesse o MaxCompute console e selecione uma região no canto superior esquerdo.

2. No painel de navegação à esquerda, escolha Observation O&M > Resource Observation.

3. Na página Resource Observation, clique em Data Transmission Service.

4. Selecione uma cota, um projeto, um intervalo de tempo e um algoritmo de agregação para consultar o uso de cada métrica.

Observações de uso

Métricas

Procedimento

1. Acesse o MaxCompute console e selecione uma região no canto superior esquerdo.

2. No painel de navegação à esquerda, clique em Resource Observation.

3. Na página Resource Observation, clique em Job Performance Observation.

4. Selecione os parâmetros abaixo para filtrar e agrupar os jobs. Isso permite visualizar jobs específicos e agrupar os dados de métricas nos gráficos por diferentes dimensões.

   Parâmetro	Descrição
   Time range	Obrigatório. Filtra os jobs concluídos com base no intervalo de tempo especificado (horários de início e término). Selecione um intervalo predefinido ou configure um personalizado: 1d: último 1 dia. 3d: últimos 3 dias. 7d: últimos 7 dias. Período específico: clique na lista suspensa de intervalo de tempo, selecione a data desejada e clique em Select Time para definir o período. Nota O intervalo de tempo padrão é o último dia. O intervalo máximo é de 7 dias e o mínimo é de 1 hora. É possível pesquisar jobs dos últimos 45 dias.
   Choose Project	Filtra por nome de projeto MaxCompute. Nota Por padrão, todos os projetos são selecionados. É possível selecionar até 8 projetos.
   Select Quota	Filtra por cota de computação. Nota Por padrão, todas as cotas de computação são selecionadas. É possível selecionar até 8 cotas de nível 2. Para mais informações sobre cotas de computação, consulte Manage computing quotas.
   Group By	Obrigatório. Dependendo do tipo de gráfico, agrupe os dados na visualização por múltiplas dimensões. Valores válidos para Group By: No Group (Padrão): exibe as tendências de várias métricas para todos os jobs dentro do intervalo filtrado ao longo do tempo. Project: exibe várias métricas para todos os jobs dentro do intervalo filtrado, agrupados por projeto. Nota Ao agrupar por projeto, especifique os projetos nos parâmetros de filtro, com no máximo 8 projetos. Quotas: exibe várias métricas para todos os jobs dentro do intervalo filtrado, agrupados por cota de nível 2. Nota Ao agrupar por cota, especifique as cotas nos parâmetros de filtro, com no máximo 8 cotas de nível 2. Job type: exibe várias métricas para todos os jobs dentro do intervalo filtrado, agrupados por tipo de job. SQL: job SQL. MCQA: job SQL do MaxCompute Query Acceleration (MCQA). LOT: job MapReduce. CUPID: job Spark ou Mars. Algo_Task: job de machine learning. GRAPH: job de computação em grafos. Job End Status: exibe várias métricas para todos os jobs dentro do intervalo filtrado, agrupados pelo status final. Success: o job foi executado com sucesso. Failed: o job falhou. Cancelled: o job foi cancelado.

5. Clique em Query para visualizar as estatísticas de cada métrica.

6. (Opcional) Selecione uma granularidade em Data Summary para visualizar as estatísticas de cada métrica com base na dimensão de tempo escolhida.

   Parâmetro	Descrição
   By Hour	Agrega os dados em intervalos de uma hora, exibindo estatísticas de jobs que concluíram a execução na hora atual. Esta é a configuração padrão. Por exemplo, se a hora atual for 14:00 do dia 6 de maio de 2024, o agrupamento por hora exibirá estatísticas de jobs concluídos entre 14:00 e 15:00 do dia 6 de maio de 2024.
   By Day	Agrega os dados em intervalos de um dia, exibindo estatísticas de jobs que concluíram a execução no dia atual. Por exemplo, se a data atual for 6 de maio de 2024, o agrupamento por dia exibirá estatísticas de jobs concluídos entre 00:00 do dia 6 de maio de 2024 e 00:00 do dia 7 de maio de 2024.

7. (Opcional) Selecione um Comparison Period para visualizar estatísticas históricas de uma data ou hora anterior.

   O padrão é No Comparison. As opções disponíveis são Previous 30 Days, Previous 7 Days e Previous 1 Day. Por exemplo, para 14:00 do dia 6 de maio de 2024, os dados de comparação de 30 dias correspondem às estatísticas de 14:00 do dia 6 de abril de 2024.

Métricas

• CU Usage Trend (Unidade: Core*H)

  Métrica	Descrição
  CPU-hour (Unidade: Core*H)	O número de CPU-hours consumido pelos jobs concluídos dentro do intervalo de filtro selecionado. Um CPU-hour equivale a um núcleo de CPU consumido por uma hora. CPU-hours = Número de núcleos de CPU × Duração.
  Memory-hour (Unidade: GB*H)	O volume de memory-hours consumido pelos jobs concluídos dentro do intervalo de filtro selecionado. Um memory-hour equivale a 1 GB de memória consumido por uma hora. Memory-hours = Tamanho da memória × Duração.
  CPU-hour/Top 10 Memory-Hour Consumption Analysis	Classifica os 10 jobs com maior consumo de CPU-hour ou memory-hour. Também lista as 10 Signatures e ExtNodeIds com maior consumo total ou médio dentro do intervalo de filtro selecionado.

• Job Runtime Period (Unidade: segundos)

  Métrica	Descrição
  Average Value	O tempo médio de execução dos jobs concluídos dentro do intervalo de filtro selecionado.
  Maximum Value	O maior tempo de execução dos jobs concluídos dentro do intervalo de filtro selecionado.
  Minimum Value	O menor tempo de execução dos jobs concluídos dentro do intervalo de filtro selecionado.
  Quantile	O tempo de execução de jobs para um quantil específico (incluindo os percentis 1, 5, 10, 50, 90, 95 e 99) dos jobs concluídos dentro do intervalo de filtro selecionado. Por exemplo, o percentil 99 indica que 99% dos jobs foram concluídos dentro desse tempo de execução.
  Top 10 Job Runtime Analysis	Lista os 10 jobs com maior tempo total de execução, bem como as 10 Signatures e ExtNodeIds com maior tempo total ou médio de execução dentro do intervalo de filtro selecionado.

• Job Count Trend (Unidade: contagem): o número de jobs concluídos dentro do intervalo de filtro selecionado.

• Job Input Size Trend (Unidade: GB, ajustada automaticamente com base na escala do gráfico): o volume de dados verificados pelos jobs concluídos dentro do intervalo de filtro selecionado.

• Trend of Job Input Size per CU-Hour (Unidade: GB, ajustada automaticamente com base na escala do gráfico): o tamanho médio de dados verificados pelos jobs por CU-hour dentro do intervalo de filtro selecionado. Um CU-hour inclui 1 núcleo de CPU e 4 GB de memória, calculado pela fórmula MAX(CPU-hour, CEILING(memory-hour/4)).

Também é possível coletar estatísticas para as métricas anteriores usando tenant-level Information Schema. Observe que a tabela Information Schema task_history contém todos os task instances resultantes de operações, enquanto as métricas na aba Job Performance Observation no console contabilizam apenas jobs que consomem recursos de computação. Portanto, os resultados estatísticos podem divergir.

A seguir, um exemplo de consulta:

SET odps.namespace.schema=TRUE;
SELECT to_char (end_time, 'yyyy-mm-dd hh'), -- The hour when the job finished.
       -- to_char (end_time, 'yyyy-mm-dd'), -- For daily granularity, use this line to replace the preceding one. This indicates the date when the job finished.
       sum(cast(cost_cpu/100/3600 as DECIMAL(18,5) )) cost_cpuh, -- CPU-hour
       sum(cast(cost_mem/1024/3600 as DECIMAL(18,5) )) cost_memh, -- Memory-hour
       avg(datediff(end_time, start_time, 'ss')), -- Average job runtime
       min(datediff(end_time, start_time, 'ss')), -- Minimum job runtime
       max(datediff(end_time, start_time, 'ss'))  -- Maximum job runtime
       -- status, -- Grouping basis: status: job status; project: task_catalog; job type: task_type.
FROM SYSTEM_CATALOG.INFORMATION_SCHEMA.tasks_history
WHERE ds>=to_char(date_add(getdate(),-7),'yyyymmdd')  -- Modify or add other filter conditions as needed.
and task_type in ('SQL','SQLRT','LOT','CUPID','ALgoTask')
GROUP BY to_char (end_time, 'yyyy-mm-dd hh')
         -- to_char (end_time, 'yyyy-mm-dd'), -- For daily granularity, use this line to replace the preceding one. This indicates the date when the job finished.
         -- status, -- Grouping basis: status: job status; project: task_catalog; job type: task_type.
order BY to_char (end_time, 'yyyy-mm-dd hh') ASC;
         -- to_char (end_time, 'yyyy-mm-dd'); -- For daily granularity, use this line to replace the preceding one. This indicates the date when the job finished.

Perguntas frequentes

• Pergunta 1:

  • P: Por que alguns projetos ou cotas estão ausentes na legenda do gráfico após o agrupamento?

  • R: Isso ocorre quando o número de jobs de um projeto ou cota é zero dentro do intervalo de tempo selecionado.

• Pergunta 2:

  • P: Por que os dados de comparação de um período anterior estão ausentes?

  • R: Os dados podem estar ausentes caso o projeto ou a cota não existisse ou não tivesse jobs durante o período de comparação.