Platform For AI:Visualização com TensorBoard

Pré-requisitos

Antes de começar, verifique se os seguintes requisitos foram atendidos:

• Um job de treinamento do DLC com pelo menos um conjunto de dados montado (verifique na aba Overview). Tipos de armazenamento suportados: Object Storage Service (OSS) e Apsara File Storage NAS.

• O SummaryWriter do TensorFlow integrado ao script de treinamento para gravar logs em um diretório dentro do conjunto de dados montado.

Gravação de logs de treinamento

Adicione o SummaryWriter ao script de treinamento para gravar logs em um caminho dentro do conjunto de dados montado. Feche o writer após o treinamento para garantir a liberação de todos os dados de log.

Exemplo:

• Endpoint do conjunto de dados OSS: oss://your-bucket-name.oss-region-internal.aliyuncs.com/dlc-training-data/

• Caminho de montagem do conjunto de dados no contêiner: /mnt/data/

• Diretório de saída de logs: /mnt/data/output/runs

import tensorflow as tf

# Initialize SummaryWriter with logging directory
log_dir = "/mnt/data/output/runs"
writer = tf.summary.create_file_writer(log_dir)

# Training loop with metric logging
for epoch in range(num_epochs):
    train_loss = calculate_loss()
    train_accuracy = calculate_accuracy()

    with writer.as_default():
        # Log scalar metrics
        tf.summary.scalar("train_loss", train_loss, step=epoch)
        tf.summary.scalar("train_accuracy", train_accuracy, step=epoch)

        # Log histograms and images every 10 epochs
        if epoch % 10 == 0:
            tf.summary.histogram("model_weights", model.weights, step=epoch)
            tf.summary.image("prediction_samples", sample_predictions, step=epoch)

# Close writer to ensure all logs are saved
writer.close()
print(f'Training completed successfully. Logs saved to: {log_dir}')

O caminho do SummaryWriter (/mnt/data/output/runs) corresponde ao Summary Path especificado durante a criação da instância do TensorBoard.

Criação de uma instância do TensorBoard

1. Faça login no PAI console. Selecione a região na barra de navegação superior e escolha um workspace. Clique em Enter Deep Learning Containers (DLC).

2. Na coluna Actions do job desejado, clique em TensorBoard. No painel exibido, clique em Create TensorBoard.

3. Na página Create TensorBoard, configure os parâmetros e clique em OK.

Visualização de relatórios do TensorBoard

1. No painel de navegação à esquerda da página do workspace, escolha AI Computing Asset Management > Job.

2. Na aba TensorBoard, verifique a coluna Status. Quando o status for Running, clique em View TensorBoard na coluna Actions.

A página do TensorBoard exibe suas métricas de treinamento e dados registrados, como tendências escalares, histogramas e imagens.

Gerenciamento de instâncias do TensorBoard

1. Faça login no PAI console. Selecione a região na barra de navegação superior e escolha um workspace. Clique em Enter Jobs.

2. Na aba TensorBoard, execute qualquer uma das operações a seguir:

Solução de problemas

Melhores práticas

• Comece com 2 a 4 vCPUs e 4 a 8 GiB de memória para cargas de trabalho típicas.

• Organize os logs por tipo de experimento e carimbo de data/hora (por exemplo, /mnt/data/output/runs/experiment_type/date_time/).

• Limpe regularmente logs de treinamento obsoletos para reduzir custos de armazenamento e melhorar o desempenho.

• Utilize atribuições de função RAM para restringir o acesso às instâncias do TensorBoard apenas a membros autorizados da equipe.

Referências

• Create and manage TensorBoard instances: Crie uma instância do TensorBoard a partir da página AI Computing Asset Management > Job.