Platform For AI:Consulter les détails d'une tâche d'entraînement

Consulter les informations de base et la configuration de la tâche

1. Connectez-vous à la console PAI, sélectionnez la région en haut de la page, choisissez l'espace de travail sur la droite, puis cliquez sur Enter DLC.

2. Cliquez sur le nom de la tâche pour accéder à sa page de vue d'ensemble.

3. Sur la page Overview, consultez les informations de base, les informations relatives à l'environnement et les informations sur les ressources de la tâche.

   Le haut de la page de vue d'ensemble affiche l'état de la tâche (par exemple Succeeded), le temps écoulé, le type de calcul (par exemple General Compute), le type de tâche (par exemple PyTorchJob) et le groupe de ressources. Une chronologie couvre les phases allant de la création de la tâche à la préparation de l'environnement, en passant par l'exécution jusqu'à la réussite. Les informations de base incluent le nom de la tâche, son ID et ses tags. Les informations sur les ressources comprennent le type de ressource, le nombre de workers et le type d'instance (par exemple ecs.gn7i-c8g1.2xlarge). Les informations sur l'environnement incluent l'URL de l'image du nœud, la configuration du montage du dataset et la commande d'exécution. La page contient également des sections de configuration telles que Fault Tolerance and Diagnostics (tolérance aux pannes automatique, activation de la vérification de l'état), Network Information (VPC, groupe de sécurité, vSwitch, etc.) et Roles and Permissions (rôle RAM de l'instance, étendue de la visibilité).

4. Cliquez sur le nom de la tâche en haut de la page pour développer la liste de basculement des tâches. Cette liste prend en charge la recherche floue par nom ou ID, ce qui permet de basculer rapidement entre les instances en cours d'exécution et les instances historiques.

Consulter les événements de la tâche

Les journaux d'événements enregistrent la progression de la planification des tâches et de l'allocation des ressources. Consultez les événements de la tâche pour localiser et résoudre les problèmes.

• Cliquez sur l'onglet Event pour afficher les journaux d'événements de la tâche.

  La partie gauche de l'onglet Events présente une chronologie des événements affichant les nœuds de phase tels que Start creation, Environment preparation, Start running et Job success, ainsi que les plages horaires correspondantes. La partie droite est un panneau de journaux d'événements qui enregistre les détails des événements du cycle de vie PyTorchJob, notamment Job queued, Job dequeued, Pod created, Service created, Scheduling succeeded, Running et Succeeded.

• Dans la zone Overview en bas de la page Instance, cliquez sur Actions dans la colonne Log de l'instance pour afficher les journaux d'événements spécifiques au nœud dans l'onglet System Log.

  Les journaux système enregistrent l'intégralité des événements du cycle de vie du Pod, y compris les transitions d'état (ResourcePurchasing → NetworkInitializing → Initializing → ImagePulling → WaitingForRun → Running → Succeeded), les enregistrements de tirage d'image et les événements de nœud tels que la création et le démarrage du conteneur.

Consulter les vues des ressources

La vue des ressources fournit des métriques telles que l'utilisation du GPU, l'utilisation de la mémoire GPU, l'utilisation du CPU, l'utilisation de la mémoire et les E/S réseau. Elle vous aide à surveiller l'utilisation des ressources en temps réel et à optimiser leur allocation.

Cliquez sur l'onglet Monitoring pour afficher la vue des ressources de la tâche.

Pour les tâches d'entraînement créées à l'aide de quotas de ressources, les fonctionnalités de surveillance suivantes sont également disponibles :

1. Les métriques de surveillance sont disponibles aux niveaux Job, Pod et GPU.

   Le haut de la page de surveillance affiche une chronologie du cycle de vie de la tâche, incluant les phases telles que Job creation, Queued, Environment preparation, Job running et Job success, ainsi que la durée de chaque phase. La section inférieure de la page vous permet de basculer entre les onglets Job, Pod et GPU pour afficher les métriques de surveillance correspondantes. L'onglet GPU affiche des graphiques linéaires de l'utilisation du calcul GPU et de l'utilisation de la mémoire GPU.

2. Filtrez par heure et par métrique, et catégorisez les métriques. Cliquez sur More pour personnaliser la vue des métriques : sélectionnez les métriques requises et faites-les glisser pour ajuster l'ordre d'affichage afin de vous concentrer sur les métriques de surveillance principales.

   Les métriques de surveillance GPU optionnelles incluent GPU compute usage, Total GPU memory, GPU memory usage, GPU memory usage amount, GPU memory device interface usage, GPU memory bandwidth usage, GPU SM device usage, GPU device power consumption et GPU temperature. Après avoir sélectionné les métriques requises, faites-les glisser dans la zone Metric Sort à droite pour ajuster l'ordre d'affichage, puis cliquez sur OK pour terminer la configuration.

3. Les tâches DLC prennent également en charge les alertes de surveillance pour le suivi en temps réel de l'utilisation des ressources. Pour plus d'informations, consultez Surveillance et alertes d'entraînement.

Consulter les journaux de la tâche

Lorsqu'une tâche échoue ou que vous devez consulter l'historique d'exécution de la tâche, affichez les journaux de la tâche en utilisant l'une des deux méthodes suivantes :

• Dans la zone Overview en bas de la page Instance, cliquez sur Actions dans la colonne Log de l'instance pour afficher les journaux de sortie d'un nœud.

• Cliquez sur l'onglet Log pour rechercher les événements de journal pertinents par mot-clé. Pour plus d'informations, consultez Rechercher des journaux agrégés par mot-clé. Voici un bref guide de la syntaxe de requête :

  - Simple query: error, matches logs that contain "error"
  - Multi-word query: "Unexpected result", matches both words "Unexpected" and "result"
  - Fuzzy query: error*, matches words that start with "error"; special characters are not supported
  - Phrase query: #"abc$def", matches the exact phrase "abc$def"
  Delimiters: Logs are split by delimiters. Delimiters in keywords are treated as empty characters. If a keyword contains a delimiter, use a phrase query instead. Common delimiters: \n\t\r,;[]{}()&^*#@~=<>/\?:'"
  Note:
  The characters ( and ) in search terms are automatically replaced with spaces. Avoid using these characters in search terms.

  La partie gauche de la page des journaux affiche la liste des instances, et la partie droite affiche les journaux utilisateur de l'instance correspondante. Dans l'exemple, le journal d'entraînement montre les résultats de validation de l'Epoch 16 à l'Epoch 18, et la sortie finale Model saved with accuracy: 98.96% indique que l'entraînement du modèle s'est terminé avec succès.

Dépannage des journaux utilisateur vides

Les journaux utilisateur sont générés à partir de la sortie standard (stdout) et de la sortie d'erreur standard (stderr) des scripts utilisateur. Si les journaux utilisateur sont vides mais que le System Log affiche un état normal, résolvez le problème dans l'ordre suivant :

1. Vérifiez la sortie stdout : ajoutez une instruction echo ou Python print à la commande de démarrage de la tâche pour générer du contenu de test. Si la sortie de test apparaît dans les journaux utilisateur, cela signifie que la tâche d'origine a redirigé stdout/stderr vers un emplacement personnalisé. Redirigez plutôt la sortie vers stdout ou stderr.

2. Vérifiez les règles sortantes du groupe de sécurité : les règles sortantes du groupe de sécurité associé à la tâche DLC doivent autoriser le bloc CIDR interne 100.64.0.0/10 de Log Service (SLS) sur les ports TCP 80 et 443. Si les règles sortantes bloquent ce bloc CIDR, les journaux utilisateur ne peuvent pas être rapportés à PAI, et les journaux utilisateur apparaissent vides sur la page.

3. Vérifiez la durée de la tâche : pour les tâches dont le temps d'exécution est très court (par exemple, moins de 2 secondes), les journaux utilisateur peuvent être vides car SLS n'a pas terminé la collecte des journaux. Lorsque vous soumettez une tâche de test, nous vous recommandons d'attendre au moins 30 secondes avant de consulter les journaux.

Consulter les journaux d'événements de comportement

PAI s'intègre à ActionTrail. Vous pouvez consulter et interroger les journaux d'événements de comportement DLC des 90 derniers jours pour votre compte Alibaba Cloud dans ActionTrail. Pour plus d'informations, consultez ActionTrail.

Consulter les enregistrements de redémarrage de la tâche

Si vous avez activé Auto fault tolerance ou Health check (liste noire et réexécution) lors de la création de la tâche, cliquez sur Restart count pour accéder à la page des enregistrements de redémarrage et consulter les détails des redémarrages, y compris le nombre, l'heure, la raison, le résultat et la durée. Effectuez les opérations suivantes :

• Dans la liste des enregistrements de redémarrage, cliquez sur Error details pour afficher les détails du redémarrage, y compris le nombre de redémarrages, l'heure du redémarrage, le nom du nœud, le nom de l'instance, le code d'erreur, le message d'erreur et la source de l'erreur.

• Cliquez sur View aggregated error details pour développer une liste détaillée de tous les enregistrements de redémarrage.

Documents connexes

Effectuez des opérations de gestion en fonction de l'état de la tâche. Pour plus d'informations, consultez Gérer les tâches d'entraînement.