Platform For AI:Visualisation TensorBoard

Prérequis

Avant de commencer, vérifiez que les conditions suivantes sont remplies :

• Un job d'entraînement DLC avec au moins un dataset monté (vérification dans l'onglet Overview). Types de stockage pris en charge : Object Storage Service (OSS) et Apsara File Storage NAS.

• L'objet SummaryWriter de TensorFlow est intégré au script d'entraînement pour écrire les journaux dans un répertoire du dataset monté.

Écrire les journaux d'entraînement

Ajoutez SummaryWriter à votre script d'entraînement afin d'écrire les journaux dans un chemin du dataset monté. Fermez l'objet writer après l'entraînement pour garantir la vidange de toutes les données de journalisation.

Exemple :

• Endpoint du dataset OSS : oss://your-bucket-name.oss-region-internal.aliyuncs.com/dlc-training-data/

• Chemin de montage du dataset dans le conteneur : /mnt/data/

• Répertoire de sortie des journaux : /mnt/data/output/runs

import tensorflow as tf

# Initialize SummaryWriter with logging directory
log_dir = "/mnt/data/output/runs"
writer = tf.summary.create_file_writer(log_dir)

# Training loop with metric logging
for epoch in range(num_epochs):
    train_loss = calculate_loss()
    train_accuracy = calculate_accuracy()

    with writer.as_default():
        # Log scalar metrics
        tf.summary.scalar("train_loss", train_loss, step=epoch)
        tf.summary.scalar("train_accuracy", train_accuracy, step=epoch)

        # Log histograms and images every 10 epochs
        if epoch % 10 == 0:
            tf.summary.histogram("model_weights", model.weights, step=epoch)
            tf.summary.image("prediction_samples", sample_predictions, step=epoch)

# Close writer to ensure all logs are saved
writer.close()
print(f'Training completed successfully. Logs saved to: {log_dir}')

Le chemin SummaryWriter (/mnt/data/output/runs) correspond au Summary Path spécifié lors de la création de l'instance TensorBoard.

Créer une instance TensorBoard

1. Connectez-vous à la PAI console. Sélectionnez la région dans la barre de navigation supérieure, puis choisissez un workspace. Cliquez sur Enter Deep Learning Containers (DLC).

2. Dans la colonne Actions du job cible, cliquez sur TensorBoard. Dans le panneau qui s'affiche, cliquez sur Create TensorBoard.

3. Sur la page Create TensorBoard, configurez les paramètres, puis cliquez sur OK.

Afficher les rapports TensorBoard

1. Dans le volet de navigation de gauche de la page du workspace, choisissez AI Computing Asset Management > Job.

2. Dans l'onglet TensorBoard, vérifiez la colonne Status. Lorsque le statut est Running, cliquez sur View TensorBoard dans la colonne Actions.

La page TensorBoard affiche vos métriques d'entraînement et les données journalisées, telles que les tendances scalaires, les histogrammes et les images.

Gérer les instances TensorBoard

1. Connectez-vous à la PAI console. Sélectionnez la région dans la barre de navigation supérieure, puis choisissez un workspace. Cliquez sur Enter Jobs.

2. Dans l'onglet TensorBoard, effectuez l'une des opérations suivantes :

Dépannage

Bonnes pratiques

• Commencez avec 2 à 4 vCPUs et 4 à 8 GiB de mémoire pour les charges de travail typiques.

• Organisez les journaux par type d'expérience et horodatage (par exemple, /mnt/data/output/runs/experiment_type/date_time/).

• Nettoyez régulièrement les journaux d'entraînement obsolètes pour réduire les coûts de stockage et améliorer les performances.

• Utilisez les attributions de rôles RAM pour restreindre l'accès aux instances TensorBoard aux membres autorisés de l'équipe.

Références

• Créer et gérer des instances TensorBoard : Créez une instance TensorBoard depuis la page AI Computing Asset Management > Job.