DataWorks:Diagnostic intelligent

En se fondant sur les prérequis nécessaires à l'exécution d'une tâche, DataWorks vérifie successivement l'état d'exécution des tâches en amont, l'heure planifiée de la tâche actuelle, l'utilisation des ressources de planification et l'état d'exécution de la tâche actuelle.

• Upstream Nodes

  Sur la page Upstream Nodes, le diagnostic intelligent vérifie l'état d'exécution des tâches en amont. Si une tâche en amont ne s'est pas exécutée avec succès, la tâche actuelle est bloquée. Cliquez sur Run Diagnostics dans la colonne Actions de la tâche en amont pour identifier la cause de l'échec.

  Remarque

  Si une tâche en amont est à l'état Non exécuté et que la hiérarchie des dépendances en amont est profonde, nous vous recommandons d'utiliser d'abord la fonctionnalité Analyse en amont dans le panneau DAG pour localiser rapidement la tâche en amont clé qui bloque la tâche actuelle, puis d'utiliser Intelligent Diagnostics pour diagnostiquer la raison pour laquelle la tâche clé ne s'est pas exécutée. Cela améliore l'efficacité des opérations et de la maintenance.

• Timing Check

  L'option Timing Check vérifie si la tâche actuelle a atteint son heure planifiée. Cette vérification n'est déclenchée qu'après la réussite de la vérification des dépendances en amont.

  Remarque

  Lorsque vous définissez les propriétés de planification d'une tâche dans le module DataStudio, vous devez définir l'heure d'exécution prévue de la tâche dans l'environnement de planification. Toutefois, l'heure d'exécution réelle peut être postérieure à l'heure planifiée en raison de problèmes tels que des échecs de tâches en amont.

• Resources

  La page Resources du diagnostic intelligent affiche l'utilisation des ressources ainsi que la liste des tâches qui occupent les ressources pendant que la tâche actuelle est en attente. Si la vérification échoue, cela signifie que les ressources sont insuffisantes et la tâche attend que d'autres tâches libèrent des ressources. Vous pouvez organiser l'heure planifiée des tâches en fonction des tendances d'utilisation des ressources pour décaler les heures de pointe.

  Remarque

  Si l'heure planifiée d'une tâche est aux alentours de 00:00 et que le temps d'attente n'est que de quelques minutes, il s'agit généralement d'un comportement normal pendant la période de pointe de planification. Un grand nombre de tâches sont déclenchées aux alentours de 00:00 chaque jour, et ce délai survient lors de la phase de déclenchement des tâches. Nous vous recommandons de décaler l'heure planifiée à un moment postérieur à 00:00.

  Fonctionnalité	Description
  Scheduling resource information	Affiche le nom du groupe de ressources de planification utilisé par la tâche actuelle, le nombre de tâches actuellement en cours d'exécution sur le groupe de ressources et le nombre de tâches en attente d'exécution sur le groupe de ressources. Remarque Nous vous recommandons d'utiliser des groupes de ressources serverless pour atténuer les pénuries de ressources. Si vous utilisez le groupe de ressources de planification partagé, la période de 00:00 à 09:00 chaque jour correspond aux heures de pointe pour les tâches DataWorks. Les ressources de planification partagées peuvent être insuffisantes et les tâches peuvent devoir attendre la disponibilité des ressources.
  Diagnosis Results	Affiche l'état d'exécution de la tâche actuelle.
  Resource Usage Trends	Si vous utilisez le groupe de ressources de planification partagé, cette section affiche l'utilisation des ressources du groupe de ressources de planification actuel par tranches horaires, ainsi que le temps passé par la tâche actuelle à attendre les ressources.

• Execution

  La section Execution affiche le journal d'exécution, les détails d'exécution des règles de qualité des données associées et les détails du code de la tâche actuelle. Pour une tâche ayant échoué, le diagnostic intelligent fournit des suggestions de diagnostic basées sur les informations du journal pour vous aider à identifier rapidement la cause de l'erreur.

  Fonctionnalité	Description
  Log	Affiche le processus d'exécution détaillé de la tâche. Dans la section Execution des Operation Details, vous pouvez cliquer sur l'URL EMR Web UI imprimée dans le Log pour accéder à la page web du composant EMR correspondant, puis cliquer sur le bouton Intelligent Diagnostics en bas à droite pour accéder à la page de diagnostic intelligent et analyser les informations d'erreur.
  Intelligent Diagnostics	Utilise un modèle de langage large (LLM) pour analyser les journaux d'erreur des tâches. Les modèles suivants sont pris en charge : Qwen, DeepSeek et DW Knowledge Base. Vous pouvez utiliser Qwen ou DeepSeek pour analyser les journaux d'erreurs, analyser syntaxiquement les journaux d'erreurs et générer des analyses d'erreurs ainsi que des suggestions de résolution, et afficher les solutions recommandées dans la DW Knowledge Base. Remarque Une fois que le LLM a terminé l'analyse des journaux d'erreurs, vous pouvez effectuer rapidement des actions telles que Modifier le code, Réexécuter l'instance, Définir l'instance comme réussie, Modifier le groupe de ressources de planification de l'instance, Modifier le groupe de ressources d'intégration de données de l'instance, Soumettre un ticket et Demander des autorisations de table.
  DQC	Si des règles de qualité des données sont associées à la tâche, ces règles sont déclenchées lors de l'exécution de la tâche. Vous pouvez consulter ici les résultats d'exécution détaillés des règles de qualité des données.
  Code details	Affiche les détails du code de la tâche actuelle.

Sous l'onglet Historical instance, vous pouvez consulter les informations suivantes :

• Tendances des métriques selon différentes dimensions pour la tâche actuelle : des graphiques visuels affichent les tendances du Running time, de l'Start run time, du Waiting Time for Resources et de l'horodatage Completed At pour la tâche actuelle sur les 15 derniers jours.

• État d'exécution des instances historiques de la tâche actuelle : une liste affiche les détails d'exécution des instances historiques de la tâche actuelle, y compris l'heure de début, l'heure de fin, la durée d'exécution et le temps d'attente des ressources. Cliquez sur Run Diagnostics dans la colonne Actions pour accéder à la page des détails du diagnostic de l'instance correspondante.