O PAI oferece uma página centralizada para gerenciar tarefas de treinamento distribuído enviadas por meio do Distributed Training (DLC), sua plataforma de infraestrutura de IA nativa da cloud. Este tópico explica como criar e gerenciar essas tarefas.
Requisitos de conta e permissão
Conta Alibaba Cloud: esta conta pode executar todas as operações sem necessidade de autorização adicional.
Usuário RAM: conceda permissões a um usuário RAM adicionando-o como membro do workspace com uma função apropriada. Para obter detalhes sobre as permissões de cada função, consulte Appendix: Roles and permissions.
Criar uma tarefa de treinamento distribuído
É possível criar uma tarefa de treinamento distribuído do DLC na aba Deep Learning Containers (DLC). O procedimento é descrito a seguir.
-
Acesse a página de gerenciamento de tarefas.
Faça login no PAI console.
No painel de navegação à esquerda, clique em Workspaces. Na página de lista de workspaces, clique no nome do workspace desejado.
No painel de navegação à esquerda do workspace, escolha para abrir a página de gerenciamento de tarefas.
Na aba Deep Learning Containers (DLC), clique em Create Task.
-
Na página Create Task, configure os parâmetros e clique em OK.
Para mais informações sobre como configurar os parâmetros, consulte Create a training job.
Gerenciar tarefas de treinamento distribuído
A lista de tarefas de treinamento distribuído agrega todas as tarefas enviadas por diversos pontos de entrada, como DLC, nós de algoritmo no Designer executados no DLC e a ferramenta de linha de comando do DLC. Você pode gerenciar suas tarefas diretamente nessa lista.
Tarefas do DLC excluídas não podem ser restauradas. Proceda com cautela.
Localize rapidamente uma tarefa específica pelo nome, ID, intervalo de tempo, framework ou status.
Clique no nome de uma tarefa para acessar sua página de detalhes, onde é possível visualizar o status de execução, o status das instâncias, a visualização de recursos e os logs.
Passe o mouse sobre uma tarefa para verificar rapidamente seu status de execução.
-
Clique em TensorBoard na coluna Actions para visualizar os resultados do treinamento.
NotaOs relatórios de análise do TensorBoard só podem ser visualizados em tarefas de treinamento que possuem um conjunto de dados associado.
Use a opção Clone para criar uma cópia da tarefa com a mesma configuração.
Consultar logs agregados por palavra-chave
Procedimento
Pesquise eventos de log específicos por palavra-chave na aba Log. Siga estas etapas:
No painel de navegação à esquerda, escolha AI Computing Asset Management > Jobs. Na página Deep Learning Containers (DLC), clique no nome de uma tarefa.
-
Clique na aba Log e defina as configurações.
-
Acima da seção Task Information, selecione um intervalo de tempo para a coleta de logs.
NotaA coleta de logs pode continuar mesmo após a conclusão da tarefa. Selecione um intervalo de tempo que reflita essa condição.
Na área Instances, selecione as instâncias necessárias.
Na caixa de pesquisa à direita, insira palavras-chave para buscar logs ou eventos relevantes.
-
Regras básicas de consulta
A pesquisa por palavra-chave em logs agregados corresponde a palavras completas. Como o Simple Log Service (SLS) subjacente ao DLC utiliza um tokenizador, não há garantia de correspondência exata de string para uma frase inteira.
Por exemplo, uma pesquisa por abc def retorna todos os logs que contêm tanto abc quanto def, e não apenas os logs que contêm a frase exata abc def.
Regras de consulta difusa
Utilize curingas para realizar consultas difusas em logs agregados. Os curingas suportados são o asterisco (*) e o ponto de interrogação (?). Outros caracteres especiais são inválidos para esse tipo de consulta.
O asterisco (*) representa uma sequência de zero ou mais caracteres. O ponto de interrogação (?) representa um único caractere.
O asterisco (*) e o ponto de interrogação (?) devem ser posicionados no meio ou no final de uma palavra-chave; eles não têm efeito quando colocados no início.
Por exemplo, a palavra-chave abc* encontra palavras que começam com abc. Já a palavra-chave ab?d encontra palavras de quatro caracteres que começam com ab e terminam com d.
Ao executar uma consulta difusa, o sistema primeiro localiza até 100 termos no logstore que correspondem ao seu padrão de curinga. Em seguida, ele retorna todas as entradas de log que contêm qualquer um desses termos correspondentes. Se o prefixo for muito curto e corresponder a mais de 100 termos, os resultados poderão estar incompletos. Termos mais específicos geram resultados mais precisos.
Limitações de delimitadores
O service de log SLS subjacente ao DLC utiliza os seguintes caracteres como delimitadores integrados para tokenizar os logs de treinamento: , '";=()[\",\"]{}?@&<>/:\n\t\r
Esses delimitadores dividem o conteúdo do log em tokens pesquisáveis. Se você pesquisar por uma palavra-chave composta apenas por esses caracteres delimitadores, o service não a tratará como um token completo e a pesquisa não retornará resultados.
Exemplo 1: Uma pesquisa por &&& não retornará nenhum log relevante. Para obter resultados pertinentes, crie uma palavra-chave que inclua contexto do texto ao redor.
Exemplo 2: Para encontrar logs contendo a&b, use a expressão completa como palavra-chave em vez de apenas &. Isso retorna logs que contêm tanto a quanto b. Palavras-chave mais específicas produzem resultados mais precisos.
Exemplos de palavras-chave
|
Requisito de pesquisa |
Exemplo de palavra-chave |
|
Buscar logs que contenham Error. |
Error |
|
Localizar registros com loss e acc. |
loss acc |
|
Executar uma busca difusa por todos os logs relacionados a Traceback. |
Traceback* |
|
Pesquisar logs contendo abc&def. |
abc&def |