DataWorks:Annexe : Fonctionnalités du DAG

Cliquez sur DAG à côté d'un nœud pour ouvrir sa vue DAG. L'interface DAG comprend un canevas central affichant le graphe des nœuds, une liste de nœuds à gauche pour la sélection, ainsi que des commandes pour les fonctionnalités telles que l'agrégation des nœuds, l'analyse en amont et l'analyse en aval en haut de la page. Vous pouvez effectuer les opérations suivantes dans la vue DAG. Cette rubrique utilise une instance déclenchée automatiquement comme exemple.

• Agrégation des nœuds

  Si une instance déclenchée automatiquement comporte un grand nombre de nœuds ou de niveaux de dépendance, agrégez les nœuds selon des dimensions telles que l'état du nœud, l'espace de travail, le propriétaire ou la priorité afin d'afficher le nombre de nœuds pour une dimension donnée. Cela vous aide à comprendre la distribution des nœuds et à gérer l'exécution plus efficacement. Les exemples suivants illustrent l'affichage lorsque les nœuds ne sont Not Aggregate pas agrégés et lorsqu'ils sont aggregated by priority agrégés par priorité.

  Remarque

  Vous pouvez agréger les nœuds par état uniquement dans le DAG d'une instance. Une instance peut être une instance déclenchée automatiquement, une instance de remplissage des données ou une instance de test.

  • Lorsque les nœuds ne sont pas agrégés, chaque nœud s'affiche individuellement dans le DAG. Chaque nœud indique son nom et son type, tels que virtual node, ODPS SQL ou batch synchronization. Les lignes entre les nœuds indiquent les dépendances. Un message en bas indique que la vue actuelle contient 10 nœuds répartis sur 8 niveaux de dépendance.

  • Lorsque les nœuds sont agrégés par priorité, l'affichage est le suivant. Vous pouvez voir rapidement que le nœud actuel possède 6 nœuds enfants avec une priorité de 1. Le DAG agrégé affiche le chemin de dépendance, commençant par fanyi_test_root (nœud virtuel) en haut, passant par User Behavior Analysis Case Description (nœud virtuel), table_ddl_ods_raw_log_d (ODPS SQL), deux groupes agrégés contenant chacun deux nœuds, puis vers dws_user_info_all_di (ODPS SQL), ads_user_info_1d (ODPS SQL) et enfin vers User Behavior Analysis Result Query (ODPS SQL). Les flèches entre les nœuds indiquent les dépendances de planification. Le panneau de gauche répertorie tous les noms de tâches et vous permet de sélectionner des nœuds à l'aide de cases à cocher.

• Analyse en amont

  Si un nœud reste en attente pendant une longue période, effectuez une analyse en amont. Cette opération révèle les nœuds en amont bloquants, ce qui vous permet de localiser et de résoudre rapidement les erreurs d'exécution pour améliorer l'efficacité d'exécution.

  Remarque

  • Vous pouvez utiliser la fonctionnalité d'analyse en amont uniquement dans le DAG d'une instance. Une instance peut être une instance déclenchée automatiquement, une instance de remplissage des données ou une instance de test.

  • Effectuez une Upstream Analysis uniquement sur les nœuds qui ne sont pas en cours d'exécution. Un maximum de six niveaux s'affiche. Si vous souhaitez afficher plus de niveaux, cliquez sur Continue Analysis dans le coin supérieur gauche.

  • L'analyse en amont vous aide à trouver rapidement les nœuds ancêtres dont dépend le nœud actuel mais qui ne se sont pas exécutés avec succès. Ces nœuds peuvent être dans l'état Running, Failed, Pending (Time), Pending (Resource) ou Frozen. Les nœuds ancêtres dans ces états bloquent l'exécution en aval.

  Si un nœud d'exemple ne s'est pas exécuté depuis longtemps, sélectionnez-le et cliquez sur Upstream Analysis dans le coin supérieur gauche. Le résultat de l'analyse indique que le nœud en amont bloquant est le nœud old_work_root. Grâce à ce résultat, vous pouvez localiser rapidement le nœud bloquant et traiter les erreurs associées.

  Remarque

  Étapes suivantes :

  • Après avoir localisé l'instance clé, filtrez par une dimension d'agrégation pour afficher l'espace de travail ou le propriétaire de l'instance clé qui affecte la sortie de données du nœud actuel. Cela améliore l'efficacité opérationnelle.

  • Une fois l'instance bloquante localisée, vous pouvez également cliquer dessus avec le bouton droit de la souris et sélectionner Run Diagnostics pour analyser rapidement la raison de l'échec de son exécution. Pour plus d'informations, consultez Diagnostic intelligent.

  Dans les résultats de l'analyse en amont, old_work_root est un nœud virtuel et son nœud dépendant en aval est le nœud sd de type ODPS SQL.

• Analyse en aval

  Par défaut, la vue DAG affiche trois niveaux : le nœud actuel, ses nœuds ancêtres immédiats (un niveau au-dessus) et ses nœuds descendants immédiats (un niveau en dessous). Lorsqu'une instance déclenchée automatiquement comporte un grand nombre de nœuds ou de niveaux, il peut être difficile de visualiser l'étendue complète de l'impact. Utilisez la fonctionnalité d'analyse en aval pour filtrer selon des critères tels que l'état du nœud, l'espace de travail, le propriétaire ou la priorité. Cela vous aide à compter le nombre de nœuds à différents niveaux ou le nombre total de nœuds sur tous les niveaux pour une dimension spécifique.

  Remarque

  • Vue fusionnée ou stratifiée dans un état agrégé : après avoir cliqué sur Downstream Analysis, les nœuds sont agrégés par propriétaire par défaut et le nombre total de nœuds pour cette dimension sur tous les niveaux est calculé.

  • Vue groupée sans agrégation : s'il y a plus de 10 nœuds en aval, ils s'affichent par groupes par défaut. Cette vue offre une compréhension plus intuitive de l'impact commercial des nœuds.

  • Vue non groupée : dans la vue non agrégée, cliquez sur Ungroup pour développer les nœuds groupés. Cela vous permet de voir les relations en amont et en aval de tous les nœuds.

  • La vue Layer pour une Downstream Analysis affiche un maximum de six niveaux. Pour afficher plus de niveaux, cliquez sur Continue Analysis dans le coin supérieur gauche.

  L'exemple suivant montre les résultats de l'exécution d'une Downstream Analysis sur le nœud tag :

  • Vue fusionnée : fusionne les nœuds en aval analysés en fonction de la dimension d'agrégation actuelle. Dans un état non agrégé, les nœuds en aval s'affichent par groupes. Dans cet exemple, la méthode Merge est utilisée et les nœuds sont aggregated by workspace agrégés par espace de travail. Tous les nœuds en aval sont fusionnés en une seule couche, affichant le nombre de nœuds appartenant à différents espaces de travail. Après avoir cliqué sur le bouton Merged dans la vue DAG, le résultat de l'analyse en aval pour le nœud tag s'affiche en mode fusionné. Les sept nœuds en aval sont présentés dans des groupes agrégés, chaque groupe contenant un nombre différent de nœuds descendants. La barre d'état en bas indique que 42 nœuds et 5 niveaux sont actuellement affichés.

  • Vue stratifiée : affiche les nœuds en aval analysés par niveau de dépendance en fonction de la dimension d'agrégation actuelle. Dans cet exemple, la méthode Layer est utilisée et les nœuds sont aggregated by workspace agrégés par espace de travail, affichant le nombre de nœuds dans différents espaces de travail à différents niveaux. Après avoir sélectionné la vue DAG et cliqué sur le bouton Layered, les nœuds en aval sont disposés de haut en bas par niveau. Chaque niveau affiche le nombre de nœuds qu'il contient et le bas de la page affiche le nombre total de nœuds et de niveaux affichés (par exemple, « 42 nœuds et 5 niveaux sont affichés »).

• Styles d'affichage du DAG

  Cliquez sur les icônes de fonction dans le coin supérieur droit de la vue DAG pour ajuster son style d'affichage. Par exemple, utilisez Toggle Full Screen View ou Fit Screen.

  Les exemples suivants montrent le DAG pour les nœuds en aval d'un nœud dans les vues Ungroup et Group.

  • DAG Ungroup : cette vue vous aide à comprendre clairement les relations en amont et en aval de tous les nœuds. En mode non groupé, chaque nœud en aval s'affiche sous forme de carte individuelle disposée par niveau de dépendance, affichant un total de 15 nœuds et 2 niveaux. Cliquez sur l'icône Snapshot dans la barre d'outils de droite pour enregistrer le DAG actuel sous forme d'image.

  • DAG Group : cette vue affiche les nœuds en aval de manière ordonnée, avec cinq nœuds par ligne, ce qui facilite la visualisation rapide du nombre total de nœuds en aval.