Gérer les tâches planifiées

Une tâche planifiée s'exécute automatiquement selon sa planification. Sur la page des tâches planifiées dans Operation Center, consultez la liste des tâches planifiées de votre espace de travail, inspectez leurs configurations dans l'environnement de production et gérez-les.

Contexte

Dans DataWorks, une tâche planifiée s'exécute automatiquement en fonction de sa planification. Affichez toutes les tâches planifiées sur la page de gestion dédiée. Ces tâches peuvent s'exécuter automatiquement selon un calendrier ou manuellement à la demande. Pour exécuter une tâche manuellement, utilisez les fonctionnalités de remplissage rétroactif des données et de test afin de générer une instance de remplissage rétroactif ou une instance de test pour le traitement spécifique des données ou le débogage. Pour une tâche planifiée automatiquement, le système crée et exécute une nouvelle instance planifiée lorsque ses conditions de déclenchement sont remplies. Par exemple, chaque soir à 22:00, le système génère les instances planifiées pour le lendemain.

Les modifications apportées à une tâche planifiée dans l'environnement de production affectent généralement les instances générées après la modification. La plupart des changements prennent effet lors de la prochaine exécution planifiée, car l'instance planifiée du jour courant est générée à 22:00 la veille. En revanche, une instance de remplissage rétroactif est générée immédiatement selon la configuration actuelle de la tâche et s'exécute dès son déclenchement manuel. Pour plus de détails sur les opérations d'exploitation et de maintenance (O&M), telles que la création, le déploiement, l'exécution, la suspension de la planification et le retrait du déploiement des tâches, consultez la rubrique Opérations O&M de base pour une tâche planifiée.

Limites

Seuls les utilisateurs disposant de l'édition Professionnelle de DataWorks ou d'une édition supérieure peuvent utiliser les fonctionnalités d'agrégation de nœuds, d'analyse en amont et d'analyse en aval dans la vue DAG. Pour plus d'informations sur la mise à niveau de votre édition, consultez la rubrique Sélectionner une édition et une méthode de facturation.

Remarques

N'intervenez pas sur le nœud workspace-name_root. Il s'agit du nœud racine de l'espace de travail. Toutes les instances planifiées dépendent de ce nœud. Si vous figez ce nœud, les instances planifiées ne s'exécuteront pas.
Toute modification apportée à une tâche doit être déployée pour prendre effet dans l'environnement de production. Un déploiement peut échouer, être bloqué ou entraîner une version inattendue. Par conséquent, après avoir déployé une tâche, accédez à la page Operation Center > Auto Triggered Node pour vérifier les modifications :
- Utilisez le DAG pour vérifier si les dépendances en amont et en aval de la tâche sont correctes.
- Consultez les détails du nœud pour vérifier si les configurations des paramètres de la tâche dans l'environnement de production correspondent à vos attentes.

Accéder à la page des tâches planifiées

Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur Data Development and O&M > Operation Center dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Operation Center.
Une fois dans Operation Center, cliquez sur Auto Triggered Node O&M > Auto Triggered Nodes dans le volet de navigation de gauche. Sur la page Auto Triggered Nodes, affichez la liste des tâches planifiées ou le DAG.

Afficher les tâches planifiées

La liste des tâches planifiées affiche les tâches soumises au système de planification. Utilisez la Recherche intelligente ou le Filtre pour localiser les tâches que vous souhaitez consulter.

Mode de recherche intelligente

Grâce à la fonction de recherche intelligente pour les tâches planifiées, il vous suffit de saisir le contenu de votre recherche. Le système l'analyse automatiquement et filtre rapidement la liste des tâches souhaitée.

Effectuez une recherche intelligente.

Cliquez sur le bouton Intelligent Search dans la barre de filtre des tâches planifiées. Dans la boîte de dialogue qui s'affiche, saisissez ce que vous recherchez, par exemple Sort by task type, puis appuyez sur Entrée pour confirmer. Le système fait correspondre et affiche automatiquement les tâches pertinentes.
Enregistrez une nouvelle vue.

Si vous souhaitez réutiliser ultérieurement les critères de recherche d'une recherche intelligente, cliquez sur Unsaved View > Save as New View dans la barre de recherche. Dans la boîte de dialogue Save View, spécifiez un View Name personnalisé, puis cliquez sur Save. Vous pourrez ensuite retrouver et utiliser cette nouvelle vue dans la barre de recherche des vues pour vos futures recherches de tâches.

Remarque
Si vous ne souhaitez plus utiliser la nouvelle vue pour les recherches de tâches, repérez le nom de la vue que vous avez créé dans la barre de recherche des vues. Survolez le nom de la vue, cliquez sur le bouton ... à droite, puis sélectionnez Modify ou Delete la vue.
Fermez la recherche intelligente.

Si vous devez effectuer une recherche précise à l'aide de conditions de filtrage, appuyez sur Échap ou cliquez sur le bouton Close Intelligent Search dans la barre d'outils des tâches pour quitter le mode de recherche intelligente.

Mode filtre

La fonction de filtrage des tâches planifiées vous permet d'utiliser les conditions fournies pour isoler avec précision la liste des tâches requise.

Filtrage simple.

Dans la barre d'outils, sélectionnez plusieurs conditions de filtrage successivement en fonction du Task Name/Task ID, du Task type, de l'option Expired Within Last 180 Days, de l'option Referenced et d'autres critères pour filtrer les tâches que vous souhaitez afficher.
Filtrage avancé.

Cliquez sur le bouton Filter dans la barre de filtre des tâches planifiées. Combinez plusieurs conditions telles que le Task Name/Task ID, le Compute Engine Type, la Baseline et la Priority pour localiser précisément les tâches nécessaires.

Remarque

Nœuds suspendus (gelés) : Une tâche gelée n'est pas planifiée automatiquement et bloque l'exécution de ses tâches en aval. Plus précisément, une tâche planifiée suspendue (gelée) génère des instances gelées ; ces dernières ne sont pas planifiées pour l'exécution et bloquent l'exécution des tâches en aval.
Nœuds orphelins : Un nœud orphelin est une tâche qui ne dépend d'aucun nœud parent. Ce type de tâche n'est pas planifié automatiquement. Si un nœud orphelin possède de nombreuses dépendances en aval, cela affecte l'exécution des tâches descendantes. Pour plus d'informations, consultez la rubrique Gérer les nœuds orphelins.
Nœuds expirés : Les nœuds dont la période de validité est dépassée ne génèrent pas d'instances et ne s'exécutent pas.

Gérer des tâches individuelles

Pour gérer une tâche planifiée spécifique, localisez-la dans la liste des tâches planifiées et utilisez les fonctionnalités correspondantes dans la colonne Actions. Le tableau suivant décrit les fonctionnalités disponibles :

Fonctionnalité		Description
DAG		Le DAG affiche les dépendances en amont et en aval d'une tâche planifiée. Effectuez des opérations connexes sur les tâches dans le DAG. Pour plus d'informations, consultez Afficher le DAG d'une tâche planifiée.
Test		Permet de tester si une tâche planifiée s'exécute comme prévu. Après avoir effectué un test, une instance de test est générée. Consultez l'état d'exécution de la tâche de test sur la page Test Instance. Pour plus d'informations, consultez Instances de test. Remarque Les exécutions de test génèrent également des données métier. Procédez avec prudence.
Run		Permet de remplir rétroactivement des données historiques ou des données pour des périodes futures. Après avoir effectué une opération de remplissage rétroactif, une instance de remplissage est générée. Consultez l'état d'exécution de la tâche de remplissage sur la page Data Backfill Instance. Pour plus d'informations, consultez Instances de remplissage rétroactif des données.
More	Freeze	Lorsqu'une tâche et ses tâches en aval n'ont pas besoin de s'exécuter pendant une certaine période, suspendez (gelez) la tâche. Une tâche planifiée gelée génère des instances gelées. Les instances gelées ne sont pas exécutées et bloquent l'exécution de leurs tâches en aval. Remarque N'intervenez pas sur le nœud `workspace-name_root`. Il s'agit du nœud racine de l'espace de travail. Toutes les instances planifiées dépendent de ce nœud. Si vous figez ce nœud, les instances planifiées ne s'exécuteront pas.
	Unfreeze	Permet de dégeler une tâche planifiée gelée.
	Change Owner	Permet de modifier le propriétaire de la tâche actuelle.
	Modify Scheduling Resource Group	Permet de modifier le groupe de ressources de planification utilisé par la tâche planifiée.
	Modify label	Modifiez, ajoutez ou dissociez des tags pour la ressource de tâche planifiée. Pour gérer les tags de manière centralisée, accédez à Gestion des tags.
	Configure Data Quality Rules	Permet de configurer des règles de surveillance de la qualité des données pour la tâche actuelle. Lors de l'exécution de la tâche, les données sont validées par rapport aux règles. Pour plus d'informations, consultez Présentation de Data Quality.
	View Instances	Cliquez sur cette option pour accéder à la page Scheduled Instance qui affiche les instances générées par la tâche actuelle.
	View Lineage	Permet d'afficher les informations de lignage de la tâche actuelle.
	View cycle task details	Permet d'afficher les propriétés de base de la tâche. Pour plus d'informations sur les paramètres associés, consultez Afficher les détails du nœud.
	Add Alert Rule	Permet de configurer des règles d'alerte personnalisées pour surveiller l'état d'exécution quotidien des tâches planifiées. Une fois la configuration terminée, consultez les règles de surveillance ajoutées sur la page Perform Intelligent Monitoring > Rule Management. Pour plus d'informations, consultez Configurer des règles de surveillance.
	Add Baseline	Permet d'ajouter la tâche actuelle à une baseline. Pour plus d'informations sur les baselines, consultez Présentation des baselines intelligentes.

Opérations par lot sur les tâches

Pour effectuer des opérations par lot sur les tâches planifiées, sélectionnez les tâches souhaitées dans la liste des tâches planifiées et utilisez les options situées sous la liste, telles que Freeze et Unfreeze.

Afficher le DAG d'une tâche planifiée

Cliquez sur le bouton DAG dans la colonne Actions d'une tâche planifiée pour accéder à la page de détails du DAG de la tâche.

Fonctionnalités du panneau DAG

Sur la page de détails du DAG des tâches planifiées, utilisez les fonctionnalités suivantes pour agréger les nœuds, analyser les tâches en aval et ajuster le style d'affichage du DAG dans le panneau DAG.

Fonctionnalité		Description
		Cliquez sur les icônes de fonctionnalité dans le coin supérieur gauche selon vos besoins pour agréger les informations des nœuds selon les dimensions suivantes : Not Aggregate. Aggregate by Workspace. Aggregate by Owner. Aggregate by Priority.



		Lorsqu'il y a trop de tâches planifiées ou trop de niveaux, utilisez la fonctionnalité Downstream Analysis pour compter le nombre de tâches en aval affectées par la tâche actuelle.
		Cliquez sur les icônes de fonctionnalité dans le coin supérieur droit selon vos besoins pour ajuster le style d'affichage du DAG.

Opérations sur le DAG

Sur la page de détails du DAG des tâches planifiées, faites un clic droit sur un nœud du workflow pour afficher ses dépendances en amont et en aval, les détails du code et d'autres informations connexes. Les opérations disponibles sont les suivantes :

Show Ancestor Nodes : Développe les tâches en amont de la tâche actuelle par niveau. Un maximum de 6 niveaux peut être développé. Utilisez cette fonctionnalité pour identifier quelles tâches affectent la sortie de données de la tâche actuelle.
Show Descendent Nodes : Développe les tâches en aval de la tâche actuelle par niveau. Un maximum de 6 niveaux peut être développé. Utilisez cette fonctionnalité pour identifier quelles tâches sont affectées par la sortie de données de la tâche actuelle.
View Code : Permet de vérifier les détails du code de la tâche actuelle dans l'environnement de production. Si le code ne correspond pas à vos attentes, vérifiez si la dernière version de la tâche a été déployée avec succès. Pour plus d'informations sur le déploiement d'une tâche de production, consultez la rubrique Déployer des tâches.
Edit Node : Cliquez sur cette option pour accéder à la page Data Studio et ouvrir la tâche actuelle.

Remarque

Pour les autres opérations, consultez la rubrique Gérer les tâches planifiées.

Afficher les détails du nœud

Affichez les propriétés de la tâche et développez les détails pour consulter les attributs détaillés, les paramètres de contexte, les journaux d'opérations et le code, afin de vérifier si les paramètres de planification, les groupes de ressources et le code dans l'environnement de production correspondent à vos attentes. La procédure est la suivante :

Sur la page de détails du DAG des tâches planifiées, cliquez sur un nœud du workflow. Dans les informations du nœud qui s'affichent, cliquez sur développer les détails pour afficher les informations connexes dans les onglets ci-dessous.

Fonctionnalité	Description
Property	Affichez les paramètres de planification de la tâche dans l'environnement de production. Pour plus d'informations sur les paramètres, consultez Paramètres de planification. Remarque Si les configurations des paramètres dans la page Data Studio et la page des tâches planifiées d'Operation Center sont incohérentes, vérifiez si les modifications de la tâche ont été déployées avec succès. Règles de surveillance : Affichez les règles de surveillance associées à l'instance actuelle. Cliquez sur Create à droite pour créer rapidement une règle de surveillance pour l'état d'exécution de la tâche. Pour plus d'informations, consultez Configurer des règles de surveillance. Remarque Seuls les détails des règles qui surveillent l'état d'exécution de la tâche peuvent être consultés ici. Les règles de surveillance de la qualité des données ne sont pas affichées. Surveillance des baselines : Affichez les baselines associées à l'instance actuelle. Cliquez sur Create à droite pour créer rapidement une baseline. Pour plus d'informations, consultez Présentation des baselines intelligentes. Remarque Les règles de baseline s'affichent sur la page des tâches planifiées le lendemain de leur configuration. Pour vérifier si une règle de baseline a bien été créée le jour même, accédez à la page Intelligent Baselines > Baselines. Nombre maximal d'instances simultanées : Affiche le nombre maximal d'instances simultanées configuré pour la tâche. La valeur est Unlimited ou un nombre spécifique (de 1 à 10 000). Ce paramètre limite le nombre maximal d'instances de la même tâche pouvant s'exécuter simultanément. La portée inclut les instances planifiées, les instances de remplissage rétroactif des données et les instances de test.
Operation Log	Permet d'afficher les enregistrements d'opérations de la tâche, y compris l'heure de l'opération, l'opérateur et les opérations spécifiques.
Code	Permet d'afficher le dernier code de la tâche actuelle dans l'environnement de production. Si le code ne correspond pas à vos attentes, vérifiez si la dernière version de la tâche a été déployée avec succès. Pour plus d'informations, consultez Déployer des tâches.