Platform For AI:TensorBoard visualization

Requisitos previos

Antes de empezar, asegúrese de cumplir con los siguientes requisitos:

• Un trabajo de entrenamiento de DLC con al menos un conjunto de datos montado (compruébelo en la pestaña Overview). Tipos de almacenamiento compatibles: Object Storage Service (OSS) y Apsara File Storage NAS.

• El componente SummaryWriter de TensorFlow integrado en el script de entrenamiento para escribir registros en un directorio dentro del conjunto de datos montado.

Escritura de registros de entrenamiento

Agregue SummaryWriter a su script de entrenamiento para escribir registros en una ruta dentro del conjunto de datos montado. Cierre el escritor después del entrenamiento para asegurar que todos los datos de registro se vacíen correctamente.

Ejemplo:

• Endpoint del conjunto de datos OSS: oss://your-bucket-name.oss-region-internal.aliyuncs.com/dlc-training-data/

• Ruta de montaje del conjunto de datos en el contenedor: /mnt/data/

• Directorio de salida de registros: /mnt/data/output/runs

import tensorflow as tf

# Initialize SummaryWriter with logging directory
log_dir = "/mnt/data/output/runs"
writer = tf.summary.create_file_writer(log_dir)

# Training loop with metric logging
for epoch in range(num_epochs):
    train_loss = calculate_loss()
    train_accuracy = calculate_accuracy()

    with writer.as_default():
        # Log scalar metrics
        tf.summary.scalar("train_loss", train_loss, step=epoch)
        tf.summary.scalar("train_accuracy", train_accuracy, step=epoch)

        # Log histograms and images every 10 epochs
        if epoch % 10 == 0:
            tf.summary.histogram("model_weights", model.weights, step=epoch)
            tf.summary.image("prediction_samples", sample_predictions, step=epoch)

# Close writer to ensure all logs are saved
writer.close()
print(f'Training completed successfully. Logs saved to: {log_dir}')

La ruta de SummaryWriter (/mnt/data/output/runs) corresponde a la Summary Path especificada al crear la instancia de TensorBoard.

Creación de una instancia de TensorBoard

1. Inicie sesión en la PAI console. Seleccione la región en la barra de navegación superior y elija un espacio de trabajo. Haga clic en Enter Deep Learning Containers (DLC).

2. En la columna Actions del trabajo objetivo, haga clic en TensorBoard. En el panel, haga clic en Create TensorBoard.

3. En la página Create TensorBoard, configure los parámetros y luego haga clic en OK.

Consulta de informes de TensorBoard

1. En el panel de navegación izquierdo de la página del espacio de trabajo, seleccione AI Computing Asset Management > Job.

2. En la pestaña TensorBoard, revise la columna Status. Cuando el estado sea Running, haga clic en View TensorBoard en la columna Actions.

La página de TensorBoard muestra las métricas de entrenamiento y los datos registrados, como tendencias escalares, histogramas e imágenes.

Gestión de instancias de TensorBoard

1. Inicie sesión en la PAI console. Seleccione la región en la barra de navegación superior y elija un espacio de trabajo. Haga clic en Enter Jobs.

2. En la pestaña TensorBoard, realice cualquiera de las siguientes operaciones:

Solución de problemas

Mejores prácticas

• Comience con 2 a 4 vCPU y 4 a 8 GiB de memoria para cargas de trabajo típicas.

• Organice los registros por tipo de experimento y marca de tiempo (por ejemplo, /mnt/data/output/runs/experiment_type/date_time/).

• Elimine periódicamente los registros de entrenamiento obsoletos para reducir costos de almacenamiento y mejorar el rendimiento.

• Utilice asignaciones de roles de RAM para restringir el acceso a la instancia de TensorBoard únicamente a miembros autorizados del equipo.

Referencias

• Create and manage TensorBoard instances: Cree una instancia de TensorBoard desde la página AI Computing Asset Management > Job.