Platform For AI:Visualizar detalhes do job de treinamento

Visualizar informações básicas e configuração do job

1. Faça login no PAI console, selecione a região na parte superior da página, escolha o workspace à direita e clique em Enter DLC.

2. Clique no nome do job para acessar a página de visão geral.

3. Na página Overview, visualize as informações básicas, de ambiente e de recursos do job.

   A parte superior da página exibe o status do job (como Succeeded), tempo decorrido, tipo de computação (como General Compute), tipo de job (como PyTorchJob) e grupo de recursos. Uma linha do tempo abrange as fases desde a criação e preparação do ambiente até a execução e conclusão com sucesso. As informações básicas incluem nome, ID e tags do job. Os dados de recursos abrangem tipo de recurso, número de workers e tipo de instância (como ecs.gn7i-c8g1.2xlarge). As informações de ambiente contêm URL da imagem do nó, configuração de montagem de dataset e comando de execução. A página também apresenta seções como Fault Tolerance and Diagnostics (tolerância a falhas automática, alternador de verificação de integridade), Network Information (VPC, grupo de segurança, vSwitch, entre outros) e Roles and Permissions (função RAM da instância, escopo de visibilidade).

4. Clique no nome do job na parte superior da página para expandir a lista de alternância. Essa lista permite busca aproximada por nome ou ID, facilitando a transição rápida entre instâncias em execução e históricas.

Visualizar eventos do job

Os logs de eventos registram o progresso do agendamento e da alocação de recursos. Consulte esses eventos para identificar e solucionar problemas.

• Clique na aba Event para visualizar os logs de eventos do job.

  O lado esquerdo da aba Events apresenta uma linha do tempo com nós de fase, como Start creation, Environment preparation, Start running e Job success, além dos intervalos de tempo correspondentes. O lado direito contém um painel que registra detalhes do ciclo de vida do PyTorchJob, incluindo Job queued, Job dequeued, Pod created, Service created, Scheduling succeeded, Running e Succeeded.

• Na área Overview, na parte inferior da página Instance, clique em Actions na coluna Log da instância. Em seguida, visualize os logs de eventos específicos do nó na aba System Log.

  Os logs do sistema registram todo o ciclo de vida do Pod, incluindo transições de status (ResourcePurchasing → NetworkInitializing → Initializing → ImagePulling → WaitingForRun → Running → Succeeded), registros de pull de imagem e eventos de nó, como criação e inicialização de contêineres.

Visualizar métricas de recursos

A visualização de recursos fornece métricas como uso de GPU, uso de memória da GPU, uso de CPU, uso de memória e E/S de rede. Esses dados ajudam a monitorar a utilização em tempo real e otimizar a alocação.

Clique na aba Monitoring para visualizar as métricas de recursos do job.

Jobs de treinamento criados com cotas de recursos também oferecem suporte aos seguintes recursos de monitoramento:

1. As métricas de monitoramento estão disponíveis nos níveis Job, Pod e GPU.

   A parte superior da página de monitoramento exibe uma linha do tempo do ciclo de vida do job, com fases como Job creation, Queued, Environment preparation, Job running e Job success, além da duração de cada fase. Na seção inferior, alterne entre as abas Job, Pod e GPU para visualizar as métricas correspondentes. A aba GPU mostra gráficos de linhas com o uso de computação e de memória da GPU.

2. Filtre por tempo e métrica, além de categorizar as métricas. Clique em More para personalizar a visualização: selecione as métricas desejadas e arraste-as para ajustar a ordem de exibição, focando nas principais.

   As métricas opcionais de monitoramento de GPU incluem GPU compute usage, Total GPU memory, GPU memory usage, GPU memory usage amount, GPU memory device interface usage, GPU memory bandwidth usage, GPU SM device usage, GPU device power consumption e GPU temperature. Após selecionar as métricas necessárias, arraste-as na área Metric Sort à direita para ajustar a ordem de exibição e clique em OK para concluir a configuração.

3. Jobs do DLC também suportam alertas de monitoramento para acompanhamento em tempo real da utilização de recursos. Para mais informações, consulte Training monitoring and alerts.

Visualizar logs do job

Quando um job falha ou quando é necessário consultar o histórico de execução, utilize um dos dois métodos abaixo para visualizar os logs:

• Na área Overview, na parte inferior da página Instance, clique em Actions na coluna Log da instância para visualizar os logs de saída de um nó.

• Clique na aba Log para pesquisar eventos de log relevantes por palavra-chave. Para mais informações, consulte Query aggregated logs by keyword. Veja a seguir um guia resumido da sintaxe de consulta:

  - Simple query: error, matches logs that contain "error"
  - Multi-word query: "Unexpected result", matches both words "Unexpected" and "result"
  - Fuzzy query: error*, matches words that start with "error"; special characters are not supported
  - Phrase query: #"abc$def", matches the exact phrase "abc$def"
  Delimiters: Logs are split by delimiters. Delimiters in keywords are treated as empty characters. If a keyword contains a delimiter, use a phrase query instead. Common delimiters: \n\t\r,;[]{}()&^*#@~=<>/\?:'"
  Note:
  The characters ( and ) in search terms are automatically replaced with spaces. Avoid using these characters in search terms.

  O lado esquerdo da página de log exibe a lista de instâncias, enquanto o lado direito mostra os logs do usuário da instância correspondente. No exemplo, o log de treinamento apresenta os resultados de validação do Epoch 16 ao Epoch 18, e a saída final Model saved with accuracy: 98.96% indica que o treinamento do modelo foi concluído com sucesso.

Solução de problemas para logs de usuário vazios

Os User logs são gerados a partir do stdout e stderr dos scripts do usuário. Se os user logs estiverem vazios, mas o System Log mostrar status normal, siga esta ordem para solucionar o problema:

1. Verifique a saída do stdout: Adicione um comando echo ou uma instrução Python print ao comando de inicialização do job para gerar conteúdo de teste. Se a saída de teste aparecer nos user logs, significa que o job original redirecionou o stdout/stderr para um local personalizado. Redirecione a saída para o stdout ou stderr padrão.

2. Verifique as regras de saída do grupo de segurança: As regras de saída do grupo de segurança associado ao job DLC devem permitir o bloco CIDR interno 100.64.0.0/10 do Log Service (SLS) nas portas TCP 80 e 443. Caso as regras bloqueiem esse bloco CIDR, os logs do usuário não serão enviados ao PAI e os user logs aparecerão vazios na página.

3. Verifique a duração do job: Em jobs com tempo de execução muito curto (por exemplo, menos de 2 segundos), os user logs podem estar vazios porque o SLS ainda não terminou a coleta. Ao enviar um job de teste, aguarde pelo menos 30 segundos antes de visualizar os logs.

Visualizar logs de eventos de comportamento

O PAI integra-se ao ActionTrail. É possível visualizar e consultar logs de eventos de comportamento do DLC dos últimos 90 dias da sua conta Alibaba Cloud diretamente no ActionTrail. Para mais informações, consulte ActionTrail.

Visualizar registros de reinicialização do job

Se você ativou Auto fault tolerance ou Health check (lista de bloqueios e nova execução) ao criar o job, clique em Restart count para acessar a página de registros de reinicialização. Nessa página, visualize detalhes como contagem, horário, motivo, resultado e duração. Execute as operações a seguir:

• Na lista de registros de reinicialização, clique em Error details para visualizar detalhes completos, incluindo contagem de reinicializações, horário, nome do nó, nome da instância, código de erro, mensagem de erro e origem do erro.

• Clique em Visualize aggregated error details para expandir uma lista detalhada com todos os registros de reinicialização.

Documentos relacionados

Gerencie o job conforme o status. Para mais informações, consulte Manage training jobs.