La recherche intelligente analyse automatiquement votre requête pour filtrer les instances correspondantes.
-
Effectuez une recherche intelligente.
Cliquez sur le bouton Intelligent Search dans la zone de filtre. Dans la boîte de dialogue qui s'affiche, saisissez votre requête de recherche, par exemple
Sort by instance type, puis appuyez sur Entrée. Le système affiche automatiquement les instances correspondantes. -
Enregistrez une nouvelle vue.
Si vous souhaitez réutiliser les critères de recherche de votre recherche intelligente, cliquez sur dans la barre de recherche. Dans la boîte de dialogue Save View, saisissez un View Name personnalisé, puis cliquez sur Save. Vous pouvez ensuite retrouver et utiliser cette nouvelle vue depuis la barre de recherche des vues.
RemarqueSi vous ne souhaitez plus utiliser cette vue, retrouvez son nom dans la barre de recherche des vues. Survolez le nom de la vue, cliquez sur l'icône ... à droite, puis sélectionnez Modify ou Delete.
-
Désactivez la recherche intelligente.
Si vous devez effectuer une recherche précise à l'aide de conditions de filtre, appuyez sur la touche Échap ou cliquez sur le bouton Data Development and O&M dans la barre d'actions des instances pour quitter le mode de recherche intelligente.
Mode des conditions de filtre
Utilisez les conditions de filtre pour trouver avec précision les instances déclenchées automatiquement dont vous avez besoin.
-
Filtrage simple.
Dans la barre d'outils, vous pouvez sélectionner plusieurs critères de filtre, tels que Search by task name, task ID, or instance ID, Go to , Operation Center ou In Waiting for Resources State for a Long Period of Time, afin de filtrer les instances.
-
Filtrage avancé.
Cliquez sur le bouton Filter dans la zone de filtre. Vous pouvez alors combiner plusieurs critères, tels que Search by task name, task ID, or instance ID, Scheduling Resource Group, Run time et Computing Resource Name, pour localiser avec exactitude les instances requises.
Mode de tri
Vous pouvez trier la liste des instances déclenchées automatiquement par ordre croissant ou décroissant selon des champs tels que Data Timestamp, Priority et Timing Time. Pour les workflows exécutés avec succès, vous pouvez trier les tâches internes par Start Time, End Time et Duration.
Gestion des instances déclenchées automatiquement
Gestion d'une instance unique
Pour gérer une instance déclenchée automatiquement spécifique, localisez-la dans la liste et utilisez les actions disponibles dans la colonne Actions. Le tableau suivant décrit les actions disponibles.
|
Fonctionnalité |
Description |
|
|
Disable Intelligent Search |
Affiche les dépendances en amont et en aval de l'instance déclenchée automatiquement. Vous pouvez effectuer des opérations connexes dans le DAG. Pour plus d'informations, consultez Annexe : Fonctionnalités du DAG. |
|
|
Run Diagnostics |
Analyse la chaîne complète de dépendances des tâches pour diagnostiquer les raisons pour lesquelles une tâche ne s'exécute pas comme prévu. Pour plus d'informations, consultez Diagnostic intelligent. |
|
|
Scheduling Resource Group |
Réexécute une instance dont l'état est Alerts Reported Within Last 24 Hours ou Failed. Lorsque la tâche s'exécute avec succès, elle déclenche ses tâches en aval non encore exécutées. Cette opération est couramment utilisée pour gérer les nœuds ayant échoué ou manqués. |
|
|
More |
Rerun Descendent Nodes |
Réexécute les nœuds descendants d'une tâche dont l'état est Successful ou Failed. Vous pouvez sélectionner les tâches en aval à réexécuter. Une fois leur exécution réussie, elles peuvent déclencher leurs propres tâches en aval non encore exécutées. Cette opération est souvent utilisée pour la récupération de données. |
|
Set to Successful |
Définit l'état d'une tâche ayant échoué comme étant réussi. Cette option est utile lorsque vous ne souhaitez pas qu'une tâche ayant échoué bloque ses tâches en aval. Elle est souvent utilisée pour gérer les nœuds ayant échoué. |
|
|
Refresh Instance |
Actualise l'instance actuelle avec les dernières configurations des propriétés suivantes : ressource de calcul, groupe de ressources, unités de calcul (CU), priorité, image, type de planification, politique de réexécution, définition du délai d'expiration, propriétaire, tags et configurations DQC. |
|
|
Terminate |
Arrête une tâche que vous ne souhaitez plus exécuter. L'état de l'instance passe à « échoué ». Vous ne pouvez arrêter que les instances dont l'état est Waiting time, Waiting for resources ou DAG. |
|
|
Freeze |
Utilisez cette fonctionnalité lorsque l'instance actuelle et ses instances en aval n'ont pas besoin de s'exécuter. Le gel d'une instance déclenchée automatiquement s'applique uniquement à cette instance spécifique. Une instance gelée ne sera pas planifiée automatiquement pour s'exécuter (elle ne traitera aucune donnée) et bloquera l'exécution de ses nœuds en aval. Remarque
|
|
|
Unfreeze |
Dégèle une instance gelée.
Remarque
L'opération de dégèlement affecte uniquement l'instance actuelle. Si le nœud déclenché automatiquement est toujours gelé, l'instance générée le jour suivant sera également gelée. |
|
|
View Lineage |
Consultez la lignée de données de l'instance. |
|
|
View cycle task details |
Consultez les détails du nœud déclenché automatiquement correspondant à l'instance. |
|
|
View Runtime Log |
Une fois la tâche démarrée, vous pouvez consulter son processus d'exécution détaillé dans le journal d'exécution. Pour obtenir la description des paramètres principaux du journal, consultez Annexe : Paramètres du journal d'exécution. |
|
|
Modify Scheduling Resource Group |
Modifie le groupe de ressources de planification utilisé pour exécuter l'instance actuelle. Cette opération ne modifie pas le groupe de ressources du nœud déclenché automatiquement auquel l'instance appartient. Important
Vous ne pouvez pas changer de groupe de ressources tant que l'instance est en attente de ressources. Une fois que l'instance entre dans l'état d'attente de ressources, vous devez d'abord arrêter la tâche, puis changer de groupe de ressources, et enfin redémarrer l'instance. |
|
Gestion de plusieurs instances
Pour gérer plusieurs instances déclenchées automatiquement simultanément, sélectionnez les instances dans la liste. Utilisez ensuite les boutons d'opérations groupées en bas de la liste pour les Terminate, Rerun, Set to Successful, Change Resource Group, Running ou Unfreeze.
Pour exporter la liste des instances issues de vos résultats de recherche, effectuez d'abord une recherche. Cliquez ensuite sur le bouton Waiting for resources au-dessus de la liste des instances. Dans la boîte de dialogue Waiting time, confirmez les informations suivantes :
Operation Object : affiche le nombre d'instances correspondant aux critères de filtre actuels. Vous pouvez cliquer sur View Filter Conditions pour voir les filtres spécifiques.
Export Method : sélectionnez Export to Local File.
L'exportation est une opération asynchrone. Après avoir soumis la tâche d'exportation, vous pouvez accéder à la page View Operation Center action records pour vérifier la progression et télécharger le résultat.
DAG de l'instance
Cliquez sur DAG dans la colonne Actions d'une instance déclenchée automatiquement pour accéder à la page des détails du DAG de l'instance.
Fonctionnalités de la page DAG
Sur la page des détails du DAG, vous pouvez regrouper les nœuds, analyser les dépendances en amont et en aval, et ajuster le style d'affichage du DAG.
|
Fonctionnalité |
Description |
|
|
|
Vous pouvez cliquer sur les icônes dans le coin supérieur gauche pour regrouper les informations sur les instances selon les dimensions suivantes :
|
|
|
|
Si une tâche comporte de nombreux nœuds ou plusieurs niveaux, vous pouvez utiliser la fonctionnalité Freeze ou Downstream Analysis pour compter le nombre de tâches en amont et en aval affectées par la tâche actuelle. |
|
|
|
Vous pouvez cliquer sur les icônes dans le coin supérieur droit pour ajuster le style d'affichage du DAG. |
|
Actions du DAG
Sur la page des détails du DAG, cliquez avec le bouton droit sur une instance dans le workflow pour afficher des détails tels que ses relations en amont et en aval ainsi que son code. Les actions suivantes sont disponibles :
Export Query Results : affiche les tâches en amont du nœud actuel pour comprendre quels nœuds affectent sa sortie de données. Vous pouvez développer les nœuds ancêtres par niveau, jusqu'à six niveaux à la fois.
Export Query Results : affiche les tâches en aval du nœud actuel pour comprendre quels nœuds sont affectés par sa sortie de données. Vous pouvez développer les nœuds descendants par niveau, jusqu'à six niveaux à la fois.
View Runtime Log : Une fois la tâche démarrée, vous pouvez consulter son processus d'exécution détaillé dans le journal d'exécution. Pour obtenir la description des paramètres principaux du journal, consultez <!--@xref {"id":"055ab59fb4kmy","data-node":"1708405","href":"#b11e80feeft68","data-tag="xref"}-->Annexe : Paramètres du journal d'exécution.
Run Diagnostics : vérifie les dépendances en amont de la tâche, l'heure de planification, les ressources de planification et l'état d'exécution.
View Code : affiche le code du nœud actuel dans l'environnement de production. Si le résultat n'est pas celui attendu, vérifiez que la dernière version du nœud a été déployée avec succès.
Edit Node : ouvre le nœud actuel dans DataStudio.
View Lineage : affiche la lignée de données de l'instance actuelle.
More : affiche des détails tels que les propriétés de base de l'instance, les journaux d'opérations et le code de la tâche.
View auto triggered node : affiche les informations sur le nœud déclenché automatiquement auquel l'instance actuelle appartient.
Go to task 360 page : accédez au Data Governance Center pour obtenir une vue panoramique des détails de la tâche sous plusieurs angles, tels que les lignes de base associées et l'état d'exécution de l'instance, et effectuez la gouvernance des tâches. Pour plus d'informations, consultez Get a panoramic view of a task.
Terminate : arrête une tâche que vous ne souhaitez plus exécuter. L'état de la tâche sera défini comme « échoué ». Vous ne pouvez arrêter que les instances dont l'état est Waiting time, Waiting for resources ou Running.
Rerun : réexécute une tâche dont l'état est Upstream Analysis ou Failed. Une fois la tâche exécutée avec succès, elle peut déclencher ses tâches en aval non encore exécutées. Cette option est souvent utilisée pour gérer les nœuds ayant échoué ou manqués.
Show Ancestor Nodes : réexécute les nœuds descendants d'une tâche dont l'état est Show Descendent Nodes ou Failed. Vous pouvez sélectionner les tâches en aval à réexécuter. Une fois leur exécution réussie, elles peuvent déclencher leurs propres tâches en aval non encore exécutées. Cette option est souvent utilisée pour la récupération de données.
Set to Successful : définit l'état d'une tâche ayant échoué comme étant réussi. Cette option est utile lorsque vous ne souhaitez pas qu'une tâche ayant échoué bloque ses tâches en aval. Elle est souvent utilisée pour gérer les nœuds ayant échoué.
-
Resume : reprend une tâche ayant échoué à partir du point d'échec. Si une tâche contient plusieurs instructions SQL, elle peut reprendre à partir de l'instruction SQL spécifique qui a échoué.
RemarqueCette opération n'est prise en charge que pour les tâches MaxCompute SQL.
Trigger Data Quality Check : si des règles de qualité des données sont configurées pour la tâche, vous pouvez déclencher une validation.
-
Emergency Operations : les opérations d'urgence sont ponctuelles et n'affectent que l'exécution actuelle du nœud.
-
Delete Dependencies : supprime les relations de dépendance pour le nœud actuel. Cette option est souvent utilisée pour supprimer d'urgence une dépendance en amont lorsqu'une tâche en amont échoue mais n'est pas liée aux données de l'instance actuelle, permettant ainsi à la tâche actuelle de s'exécuter.
RemarqueVous devez confirmer si cette action affectera vos données en vérifiant le code de la tâche et la lignée de données.
Change Priority : la priorité d'une instance est héritée de sa ligne de base. Vous pouvez redéfinir la priorité ici selon vos besoins. Un chiffre plus élevé indique une priorité plus élevée.
Force Rerun : force la réexécution du nœud actuel. Cela peut être fait sur des instances déclenchées automatiquement dont l'état est réussi, échoué ou non exécuté. Cette option est souvent utilisée pour la récupération de données.
-
Force Heavy Run Downstream : force la réexécution des tâches en aval pour traiter les données des deux dates commerciales précédentes. Cette opération n'est prise en charge que pour les instances déclenchées automatiquement dont l'état est Successful ou Failed et est souvent utilisée pour la récupération de données. Pour plus d'informations, consultez Annexe : Force rerun downstream.
RemarqueSeuls les administrateurs d'espace de travail, les administrateurs de locataire et les comptes Alibaba Cloud peuvent initier une réexécution forcée des nœuds en aval.
-
Clone Instance : crée une nouvelle instance clonée basée sur une instance en cours d'exécution (l'instance hôte). La nouvelle instance est nommée selon le format
dw_clone_NodeName.RemarqueSeules les instances de nœud ODPS SQL peuvent être clonées, et chaque instance ne peut être clonée qu'une seule fois.
-
Logique d'exécution pour les instances hôtes et clonées :
Les instances hôte et clonée sont toutes deux en cours d'exécution. Si l'instance hôte réussit en premier, l'instance clonée est arrêtée. Si l'instance clonée réussit en premier, l'instance hôte est arrêtée et son état est défini comme réussi.
Si une tâche en aval de la tâche actuelle possède une instance clonée, la réexécution des nœuds en aval ne déclenchera pas l'exécution de l'instance clonée.
-
-
Successful : vous pouvez geler une instance si elle et ses instances en aval n'ont pas besoin de s'exécuter.
ImportantLe gel d'une instance en amont bloque l'exécution de ses instances en aval. Procédez avec prudence.
N'effectuez aucune opération sur le nœud projectname_root, car il s'agit du nœud racine de l'espace de travail. Toutes les instances déclenchées automatiquement dépendent de ce nœud. Si vous gelez ce nœud, aucune instance déclenchée automatiquement ne s'exécutera.
Vous ne pouvez pas geler une instance dont l'état est Waiting for resources, Rerun Descendent Nodes ou Successful (par exemple, si le code du nœud est en cours d'exécution ou si une vérification de la qualité des données est en cours).
-
Unfreeze : dégèle une instance dont l'état est gelé.
Si l'instance ne s'est pas encore exécutée, elle s'exécutera automatiquement une fois ses tâches en amont terminées.
Si toutes les tâches en amont sont déjà terminées, l'état de l'instance passe à « échoué ». Vous devez alors la réexécuter manuellement.
RemarqueL'opération de dégèlement affecte uniquement l'instance actuelle. Si le nœud déclenché automatiquement est toujours gelé, l'instance générée le jour suivant sera également gelée.
Détails de l'instance
Dans le DAG de l'instance, cliquez avec le bouton gauche sur une instance spécifique, puis cliquez sur View Log Data dans la fenêtre contextuelle, ou cliquez sur Show Details pour afficher des informations détaillées telles que General, Runtime Log, Operation Log et Code.
|
Onglet |
Description |
|
General |
Cet onglet affiche les propriétés de planification de la tâche dans l'environnement de production. Pour plus d'informations sur les paramètres de l'interface utilisateur, consultez : Configuration de la planification.
|
|
Waiting time |
Une fois la tâche démarrée, vous pouvez consulter son processus d'exécution détaillé dans le journal d'exécution. Pour obtenir la description des paramètres principaux du journal, consultez Annexe : Paramètres du journal d'exécution. |
|
Running |
Affichez les enregistrements d'opérations d'une tâche ou d'une instance (heure, opérateur et action spécifique). |
|
Code |
Affichez le dernier code de la tâche actuelle dans l'environnement de production. Si le résultat n'est pas celui attendu, vérifiez que la dernière version de la tâche a été déployée avec succès. Pour plus d'informations, consultez Déployer des tâches. |
Une instance déclenchée automatiquement est un instantané généré automatiquement à partir de la configuration de planification d'un nœud déclenché automatiquement. Vous pouvez afficher les détails de l'instance et effectuer des opérations dans la vue liste ou le DAG.
Remarques d'utilisation
Tâche normale : une tâche qui exécute réellement une logique de code. Cela exclut les tâches de simulation (telles que les tâches avec la propriété de planification dry-run, les instances générées pour une tâche en dehors de son heure planifiée, les branches non sélectionnées d'un nœud de branche ou les instances expirées générées par la conversion de tâches en temps réel en instances) et les tâches gelées.
Environnement O&M : dans un espace de travail en mode standard, vous pouvez basculer entre les centres d'opérations de développement et de production dans le coin supérieur gauche de l'interface utilisateur. Les tâches ne sont pas planifiées automatiquement dans le centre d'opérations de développement, donc aucune instance déclenchée automatiquement n'est générée sur la page Auto Triggered Instances.
-
Exécution des tâches et dépannage :
Une tâche planifiée s'exécute uniquement si ses tâches en amont ont été exécutées avec succès, si l'heure planifiée est atteinte, si des ressources de planification suffisantes sont disponibles et si la tâche actuelle n'est pas gelée. Pour plus d'informations, consultez Task execution conditions.
Si une tâche ne s'exécute pas, utilisez d'abord la fonctionnalité Upstream Analysis sur la page DAG pour identifier rapidement les tâches en amont clés qui bloquent la tâche actuelle. Ensuite, utilisez la fonctionnalité de diagnostic intelligent pour diagnostiquer pourquoi les instances clés ne s'exécutent pas ou pour identifier les problèmes existants. Si la tâche comporte des dépendances complexes, cette fonctionnalité vous aide à localiser rapidement les problèmes et à améliorer l'efficacité des opérations et de la maintenance.
Limitations
-
Exigences relatives à l'édition
DataWorks Professional Edition et les éditions supérieures fournissent les fonctionnalités avancées suivantes pour vous aider à améliorer l'efficacité du développement et des opérations et de la maintenance.
Run Diagnostics : localisez rapidement les problèmes d'exécution des tâches. Cette fonctionnalité est actuellement disponible en essai gratuit. Pour plus d'informations, consultez Intelligent diagnosis.
Analyse DAG avancée : inclut le regroupement de nœuds, l'analyse en amont et l'analyse en aval pour une compréhension claire de la lignée complexe des tâches.
Export Query Results : exportez des données pour des rapports externes ou une analyse approfondie.
Pour bénéficier de toutes ces fonctionnalités, nous vous recommandons de passer à l'édition Professional. Pour plus d'informations, consultez Select and purchase a DataWorks edition.
-
Autorisations
Certaines opérations ne peuvent être effectuées que par des utilisateurs disposant d'autorisations O&M. Si le point d'entrée d'une fonctionnalité est grisé ou indisponible, accédez à la page pour vérifier les autorisations O&M de l'utilisateur. Pour plus d'informations, consultez Administration overview et Manage permissions on workspace-level services.
-
Limitations des fonctionnalités
Vous ne pouvez pas supprimer manuellement une instance déclenchée automatiquement. La plateforme supprime automatiquement l'instance environ 30 jours après son expiration. Si une tâche n'a plus besoin de s'exécuter, vous pouvez geler l'instance.
Pour les tâches exécutées sur un groupe de ressources partagé pour la planification, les instances sont conservées pendant un mois (30 jours) et les journaux pendant une semaine (7 jours).
Pour les tâches exécutées sur un groupe de ressources serverless ou un groupe de ressources exclusif pour la planification, les instances et les journaux sont conservés pendant un mois (30 jours).
Pour les instances dont l'exécution est terminée, si la taille du journal dépasse 3 Mo, la plateforme les supprime automatiquement à une heure programmée chaque jour.
Précautions
Un nœud déclenché automatiquement génère une instance déclenchée automatiquement à une heure planifiée. Quelle que soit la méthode de génération d'instance que vous choisissez, l'instance exécute toujours le dernier code de l'environnement de production.
Pour surveiller une tâche, définissez d'abord des règles de surveillance pour celle-ci. Pour plus d'informations, consultez Smart monitoring overview. Pour une tâche avec des alertes de surveillance configurées, si elle échoue mais que vous ne recevez pas de notification d'alerte, vérifiez si vous avez configuré votre numéro de téléphone mobile et votre adresse e-mail sur la page Alert Contacts. Pour plus d'informations, consultez Alert information.
-
L'heure à laquelle une instance déclenchée automatiquement est générée pour la première fois dépend de la méthode de génération d'instance que vous choisissez. Les méthodes incluent T +1 generated next day et Instant generation after publishing. Pour plus d'informations, consultez Instance generation methods.
RemarqueLa réexécution manuelle d'une tâche ne déclenche pas d'alertes basées sur des règles personnalisées.
Accès à la page des instances déclenchées automatiquement
-
Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Runtime Log.
-
Dans le volet de navigation de gauche, choisissez pour accéder à la page Auto Triggered Instances.
Cette page affiche l'état d'exécution des instances sous différents angles.
Perspective des instances : utilisé pour afficher les détails d'exécution d'une seule instance.
Perspective du workflow : utilisé pour afficher un aperçu de toutes les instances en cours d'exécution au sein d'un workflow.
Perspective du workflow
Cliquez sur l'onglet Workflow Perspective sur la page Scheduled Instance pour ouvrir la vue O&M du workflow.
Dans la perspective du workflow, seules les dépendances au sein du workflow sont affichées. S'il existe des dépendances entre workflows ou espaces de travail, basculez vers la perspective des instances pour les afficher.
Liste des workflows
|
Fonctionnalité |
Description |
|
Aperçu de l'état d'exécution du workflow |
La colonne Workflow affiche l'état d'exécution du workflow. La vue liste compte les tâches normales, ce qui exclut les tâches de simulation et les tâches gelées. La page DAG affiche tous les types de tâches.
|
|
O&M du workflow Actions |
Vous pouvez effectuer les opérations suivantes sur un workflow :
|
Annexe : Paramètres du journal d'exécution
Le journal d'exécution enregistre chaque étape de l'exécution de la tâche. Le tableau suivant décrit les paramètres principaux.
|
Paramètre |
Description |
|
SKYNET_ONDUTY |
Propriétaire de la tâche. |
|
SKYNET_PARAVALUE |
Liste des paramètres de planification. |
|
SKYNET_TASKID |
ID de l'instance. |
|
SKYNET_ID |
ID du nœud. |
|
SKYNET_NODENAME |
Nom du nœud. |
|
SKYNET_APPNAME |
Nom de l'espace de travail. |
|
SKYNET_REGION |
Région où se trouve l'espace de travail. |
|
SKYNET_CYCTIME |
Heure d'exécution planifiée du nœud. |
FAQ
-
Dépannage des anomalies d'instance
-
Dépannage des tâches qui ne s'exécutent pas
-
Simulation (Dry-run)
Pour plus de questions fréquemment posées, consultez Common issues.



: nombre d'instances en cours d'exécution dans le workflow actuel.
: nombre d'instances réussies dans le workflow actuel.
: nombre d'instances ayant échoué dans le workflow actuel.
: nombre d'instances dans des états autres que ceux mentionnés ci-dessus dans le workflow actuel.