Ao depurar problemas no treinamento de modelos — como perda não convergente, desaparecimento de gradientes ou convergência inadequada — é essencial visualizar métricas em tempo real. No Platform for AI (PAI), as instâncias do TensorBoard se conectam aos seus dados de treinamento por meio de um conjunto de dados ou de uma tarefa do Deep Learning Containers (DLC) e renderizam um painel interativo para inspecionar curvas de perda, gradientes e escalares personalizados durante a execução do treinamento.
Pré-requisitos
Antes de começar, verifique se você possui:
Uma conta Alibaba Cloud ou um usuário do Resource Access Management (RAM) adicionado como membro do workspace com as funções e permissões necessárias. Consulte {{XREF_0}}
Limitações
O TensorBoard não é compatível com tarefas DLC criadas na região Malaysia (Kuala Lumpur).
Criar uma instância do TensorBoard
Faça login no PAI console.
No painel de navegação à esquerda, clique em Workspaces. Na página Workspaces, clique no nome do workspace que deseja gerenciar.
No painel de navegação à esquerda, escolha AI Asset Management > Jobs para acessar a página Distributed Training Jobs.
Clique na aba TensorBoard e, em seguida, clique em Create TensorBoard.
Na página Create TensorBoard, configure os parâmetros descritos nas tabelas a seguir e clique em OK.
Informações básicas
|
Parâmetro |
Descrição |
|
Name |
Nome da instância do TensorBoard. |
|
Configuration type |
Selecione um tipo de montagem e insira o caminho do resumo. Veja os detalhes abaixo. |
Tipo de montagem
Escolha uma das opções a seguir com base no local onde seus logs de treinamento estão armazenados:
Mount Dataset (recomendado): Selecione um conjunto de dados e insira o caminho relativo do diretório de resumo dentro desse conjunto.
Mount OSS: Selecione um caminho de bucket do Object Storage Service (OSS) e insira o caminho relativo do diretório de resumo no OSS.
By Task: Selecione uma tarefa DLC e insira o caminho completo dos arquivos de log no contêiner.
Caminho do resumo
Local onde os logs de resumo do TensorBoard são armazenados. Obtenha o caminho completo na classe SummaryWriter do seu código de treinamento.
Configuração de recursos
|
Tipo de recurso |
Descrição |
|
Free Quota |
Alocação fixa de recursos gratuitos por instância: até 2 vCPUs e 4 GiB de memória. Para liberar capacidade, desative quaisquer instâncias de cota gratuita em execução antes de criar uma nova. |
|
General Computing |
Duas opções de faturamento: Public Resources (pagamento conforme o uso, selecione um tipo de instância) ou Resource Quota (faturamento por assinatura, requer {{XREF_1}} e {{XREF_2}}). |
Ao utilizar Resource Quota, configure estes parâmetros adicionais:
O Resource Quota está disponível apenas para usuários na lista de permissões. Entre em contato com seu gerente de conta para configurar a lista de permissões.
|
Parâmetro |
Descrição |
|
Priority |
Prioridade de agendamento da instância. Valores válidos: 1–9. O valor 1 representa a menor prioridade. |
|
Job resource |
Quantidade de vCPUs e memória (em GiB) alocadas para a instância. |
VPC
A configuração de VPC está disponível somente ao usar Public Resources.
Sem uma VPC, a instância utiliza uma conexão com a internet, o que pode causar lentidão durante a inicialização ou ao carregar relatórios devido à largura de banda limitada. Configure uma VPC para garantir um desempenho estável.
Selecione uma VPC, um vSwitch e um grupo de segurança na região atual. A instância poderá então acessar serviços dentro da virtual private cloud (VPC) selecionada e aplicar as regras do grupo de segurança especificado.
Se o seu conjunto de dados exigir uma VPC — por exemplo, um conjunto de dados do Cloud Parallel File Storage (CPFS) ou um conjunto de dados NAS com destino de montagem na VPC — será obrigatório configurar uma VPC.
Após a instância entrar no estado Running, clique em View TensorBoard na coluna Actions para abrir o painel do TensorBoard.
O TensorBoard exibe suas métricas de treinamento e logs de resumo em uma visualização interativa.
Dica: Se estiver utilizando recursos de General Computing , pare a instância ao concluir o trabalho para evitar cobranças desnecessárias. Configure o auto-stop para lidar com isso automaticamente — consulte Gerenciar uma instância do TensorBoard .
Gerenciar uma instância do TensorBoard
Na aba TensorBoard, utilize as ações a seguir para gerenciar suas instâncias:
Iniciar uma instância
Clique em Start na coluna Actions para reiniciar uma instância parada.
Visualizar detalhes da instância
Clique no nome da instância para abrir a página de detalhes, onde é possível revisar Basic Information e Configuration Information.
Visualizar tarefas DLC associadas
Verifique a quantidade de tarefas DLC associadas à instância do TensorBoard. Na coluna Associated Task, passe o mouse sobre 
para ver o ID da tarefa DLC associada. Clique no ID para acessar a página de detalhes da tarefa.
Visualizar conjuntos de dados associados
Verifique a quantidade de conjuntos de dados associados à instância do TensorBoard. Na coluna Associated Dataset, passe o mouse sobre para ver o ID do conjunto de dados associado. Clique no ID para acessar a página de detalhes do conjunto de dados.
Visualizar duração da execução
A coluna Running Duration mostra há quanto tempo a instância está em execução desde a última inicialização. Ao parar a instância do TensorBoard, a duração da execução é redefinida.
Parar uma instância
Clique em Stop na coluna Actions para parar a instância imediatamente.
Clique em Auto-stop Settings na coluna Actions para agendar um horário de parada automática.
Próximos passos
Também é possível criar e gerenciar instâncias do TensorBoard diretamente na página do Deep Learning Containers (DLC). Consulte {{XREF_3}}.