Désactivation progressive des tables et des tâches - DataWorks

Data Asset Governance propose une solution complète pour désactiver progressivement les tâches et les tables obsolètes. Cette fonctionnalité s'appuie sur l'évaluation des risques, les notifications et la gestion des processus pour vous aider à relever des défis tels que l'identification des risques liés à la désactivation, la gestion des dépendances descendantes actives et la compréhension des impacts potentiels. Elle offre également une désactivation par lot pour améliorer l'efficacité.

Contexte

Contrairement à la désactivation directe, la désactivation progressive inclut une analyse d'impact et une gestion des processus. Vous pouvez également notifier les parties prenantes à chaque étape.

Actions	Méthode de désactivation	Comparaison	Description
Sélectionner les objets à désactiver	Désactivation directe	Localisez la tâche sur la page O&M, Frozen la tâche, puis désactivez-la directement.	Cette méthode n'affiche ni les impacts ni les risques, ce qui augmente la probabilité d'erreur.
Sélectionner les objets à désactiver	Désactivation progressive	Sélectionnez des objets, évaluez leur impact et leurs risques, et ajoutez-les manuellement ou automatiquement.	Le système fournit une évaluation d'impact pour les objets sélectionnés par ID de nœud, lignage de données ou table.
Configurer le processus de désactivation	Désactivation directe	Aucun	Impossible de notifier le personnel concerné.
Configurer le processus de désactivation	Désactivation progressive	Notifiez le personnel désigné à chaque étape du processus en utilisant System Prompt, Mail, DingTalk Chatbot et Webhook.	Processus en plusieurs étapes avec notifications pour le personnel concerné à chaque étape.
Définir le mode d'exécution	Désactivation directe	Aucun	L'objet est immédiatement désactivé et l'action est irréversible.
Définir le mode d'exécution	Désactivation progressive	Manually Trigger Execution Automatic Execution	Choisissez différents modes d'exécution selon les scénarios, offrant ainsi une fenêtre permettant d'annuler la désactivation si nécessaire.
Afficher et gérer le plan	Désactivation directe	Aucun	Cette action immédiate ne prévoit aucune période tampon, ce qui accroît le risque de désactivation accidentelle et de défaillances métier.
Afficher et gérer le plan	Désactivation progressive	Consultez les détails des plans de désactivation créés et effectuez des opérations telles que l'affichage des détails d'exécution, l'annulation et la restauration pour chaque sous-tâche.	Période tampon pour la désactivation, permettant d'annuler ou de restaurer le processus en cas d'erreur.

Limites

Un plan de désactivation ne peut inclure que des objets provenant d'un seul espace de travail.
Un plan peut contenir au maximum 200 objets.
Vous pouvez restaurer les opérations de tâche avant l'étape Undeploy Task et les opérations de table avant l'étape Undeploy Completed.

Autorisations

Pour créer un plan de désactivation, vous devez disposer de l'une des autorisations suivantes :
- Compte Alibaba Cloud
- Utilisateur RAM disposant de l'autorisation AliyunDataWorksFullAccess
- Administrateur de l'espace de travail
- Administrateur de la gouvernance des données au niveau du locataire
- Administrateur de la gouvernance des données au niveau de l'espace de travail
- Ingénieur O&M
Seuls un compte Alibaba Cloud, un utilisateur RAM disposant de l'autorisation AliyunDataWorksFullAccess ou un administrateur d'espace de travail peuvent effectuer toutes les opérations sur un plan de désactivation.
Les ingénieurs O&M ne peuvent gérer que les plans de désactivation qu'ils ont créés. Ils disposent d'autorisations en lecture seule pour les autres plans.
Les administrateurs de la gouvernance des données aux niveaux du locataire et de l'espace de travail peuvent uniquement créer, configurer et supprimer des plans. Ils ne peuvent pas démarrer ni exécuter des plans contenant des tâches pour lesquelles ils ne disposent pas des autorisations nécessaires.

Remarques d'utilisation

Un objet déjà inclus dans un plan de désactivation ne peut pas être ajouté à un autre plan.
Certains types d'objets ne peuvent pas être désactivés, comme le nœud racine de l'espace de travail ou les nœuds virtuels créés par un plan de désactivation.
Si les propriétaires ne suppriment pas les dépendances de planification d'un objet dans le délai imparti, le système crée un nœud virtuel et y attache les tâches dépendantes.
Les étapes prises en charge peuvent varier selon le type de nœud. Reportez-vous à l'interface utilisateur pour plus de détails.
Vous ne pouvez restaurer que les opérations effectuées avant la désactivation de l'objet.

Procédure

Étape 1 : Créer un plan de désactivation

Accédez à la page Data Asset Governance.

Connectez-vous à la console DataWorks. Dans la barre de navigation supérieure, sélectionnez la région souhaitée. Dans le volet de navigation de gauche, choisissez Data Governance > Data Asset Governance. Sur la page qui s'affiche, cliquez sur Go to Data Asset Governance.
Dans le volet de navigation de gauche, choisissez Governance > Automation > Graceful Shutdown pour accéder à la page Graceful Shutdown.
Dans la liste déroulante Workspace en haut de la page, sélectionnez l'espace de travail contenant les objets que vous souhaitez désactiver. La liste affiche uniquement les espaces de travail auxquels vous avez adhéré.

Si vous devez rejoindre un espace de travail, contactez l'administrateur de l'espace de travail pour qu'il vous ajoute. Pour plus d'informations, consultez la rubrique Ajouter des membres à un espace de travail et gérer leurs rôles et autorisations.
Sur la page Graceful Shutdown, cliquez sur Create Governance Plan.

Vous pouvez également, sur la page Process Governance Items, localiser la tâche ou la table à désactiver et cliquer sur Create Plan dans la colonne Actions.

Étape 2 : Sélectionner les objets à désactiver

1. Configurer les informations de base du plan

Spécifiez l'Workspace où se trouvent les objets et saisissez un Plan Name personnalisé.

2. Ajouter des objets au plan

Dans la section To-Be-Undeployed Object, sélectionnez les objets à désactiver. Vous pouvez ajouter des Tasks publiées ou une Table.

Désactiver des tâches : Ajoutez des tâches en utilisant Add to-be-undeployed Object ou Import Based on Lineage.
- Add to-be-undeployed Object : Ajoutez des objets de tâche par ID de nœud.
- Import Based on Lineage : Sélectionnez une tâche, puis choisissez les tâches associées en fonction de leur hiérarchie de lignage de données.
  Remarque
  - Vous pouvez trouver l'ID de nœud d'une tâche sur sa page de configuration, sous Scheduling > Base Attributes.
  - Vous pouvez également trouver l'ID de nœud sur la page Auto Triggered Task O&M > Auto Triggered Node du centre d'opérations.
Désactiver des tables : Utilisez Add to-be-undeployed Object pour ajouter des tables.

Remarque

Un objet déjà inclus dans un plan de désactivation ne peut pas être ajouté à un autre plan.
Certains types d'objets ne peuvent pas être désactivés, comme le nœud racine de l'espace de travail ou les nœuds virtuels créés par un plan de désactivation.

Paramètre	Description
Undeployment Impact Assessment	Low : Les tables de sortie de l'objet n'ont pas été consommées au cours du dernier mois. High : Les tables de sortie de l'objet ont été consommées au cours du dernier mois.
Impact Item Description	Fournit une explication de l'évaluation d'impact de la désactivation.
The output table is consumed.	État de consommation de la table de sortie de l'objet de tâche.
Task That Generates Table	Tâche qui génère l'objet table. Cliquez pour afficher les informations sur la tâche.
Number of Affected Baselines/Highest Priority	Pour un objet table : Nombre de lignes de base affectées et niveau de ligne de base le plus élevé pour la tâche qui génère la table. Pour un objet de tâche : Nombre de lignes de base affectées et niveau de ligne de base le plus élevé pour la tâche. Remarque Pour plus d'informations sur la surveillance des lignes de base des tâches, consultez la rubrique Gestion des lignes de base.

Étape 3 : Configurer le processus de désactivation

Après avoir ajouté les objets, configurez le processus de désactivation en plusieurs étapes. Le processus peut comporter jusqu'à huit étapes : Start Undeployment, Delayed Scheduling, Pause scheduling, Undeploy Task, Rename Output Table, Reset Table Lifecycle, Delete Output Table et Undeploy Completed.

Étape	Description	Cas d'utilisation recommandé
Start Undeployment	Démarre le processus de désactivation progressive. Cette étape est obligatoire.	-
Delayed Scheduling	Retarde l'heure d'exécution planifiée de l'objet, ce qui retarde également la génération des données pour celui-ci et ses dépendances descendantes.	Utilisez la planification différée pour garantir que les tâches s'exécutent normalement lorsque les données des plateformes en amont ne sont pas encore générées.
Pause scheduling	Définit le statut de l'objet comme gelé. Cela signifie que le statut de la tâche apparaît comme gelé sur la page Operation Center > Auto Triggered Node. L'objet et ses dépendances descendantes ne généreront plus de données de table.	Utilisez la suspension de la planification lorsqu'un service métier est mis en pause mais que le flux de travail doit être conservé.
Undeploy Task	Désactive l'objet sélectionné. Aucune nouvelle instance n'est générée à partir du lendemain. Les instances existantes sont définies avec une charge nulle et ne s'exécuteront plus. Cette étape est sélectionnée par défaut, mais peut être désélectionnée.	Utilisez cette option lorsqu'un nœud ou un flux de travail est obsolète.
Rename Output Table	Renomme la table de sortie de l'objet de tâche ou de table.	Utilisez cette option pour indiquer que la table de sortie appartient à un objet désactivé.
Reset Table Lifecycle	Réinitialise le cycle de vie de la table de sortie pour l'objet de tâche ou de table.	Utilisez cette option pour conserver la table de sortie pendant une période spécifique après la désactivation. Remarque Seules les tables MaxCompute sont prises en charge.
Delete Output Table	Supprime la table de sortie de l'objet de tâche ou de table.	Utilisez cette option après la désactivation d'un objet lorsque sa table de sortie n'est plus nécessaire.
Undeploy Completed	Met fin au processus de désactivation progressive. Cette étape est obligatoire.	-

Remarque

Les étapes sont exécutées séquentiellement. Les étapes facultatives peuvent être ignorées.
Les plans de désactivation progressive permettent d'envoyer des notifications au personnel spécifié via des méthodes telles que System Prompt, Mail et DingTalk Chatbot. Pour savoir comment configurer un chatbot DingTalk, consultez la rubrique Pratique de scénario : Envoyer des notifications d'alerte à un groupe DingTalk. Pour afficher les invites système, accédez à la page Governance Reminder en choisissant Data Asset Governance > Overview > Reminder.

Étape 4 : Définir le mode d'exécution

Définissez la manière dont le plan progresse à travers chaque étape. Choisissez Manually Trigger Execution ou Automatic Execution.

Manually Trigger Execution
- Description : Le créateur du plan doit confirmer manuellement chaque étape avant que le processus ne puisse continuer.
- Cas d'utilisation recommandé : Utilisez ce mode lorsque la tâche ou la table de données est critique pour votre flux de travail métier.
Automatic Execution
- Description : Chaque étape se déroule automatiquement lorsque la période de silence configurée prend fin.
- Cas d'utilisation recommandé : Utilisez ce mode pour désactiver en masse de nombreux flux de travail à faible priorité.

Étape 5 : Afficher et gérer le plan

Sur la page Graceful Shutdown, vous pouvez afficher la liste des plans de désactivation et effectuer des actions sur ceux-ci, telles que Execute, Cancel ou Delete.

Remarque

L'annulation d'un plan arrête uniquement les étapes en cours ; les étapes terminées ne sont pas affectées.
La suppression d'un plan annule d'abord les étapes en cours, puis supprime le plan lui-même. Les étapes terminées ne sont pas affectées. Cette action est irréversible.

Cliquez sur Execution details dans la colonne Actions pour afficher la configuration d'un plan et gérer ses tâches individuelles :

Fonction	Description
Details	Affichez les détails de désactivation pour une tâche unique, y compris la progression, le statut et les détails d'exécution pour chaque étape. Vous pouvez également annuler ou restaurer le processus de désactivation pour la tâche actuelle. Annuler la tâche : Annulez les étapes incomplètes du processus de désactivation de la tâche actuelle. Restaurer la tâche : Rétablit toutes les étapes de désactivation de la tâche à leur état initial. Il est impossible de restaurer des étapes individuelles. Remarque La restauration n'est pas prise en charge si le plan de désactivation a été annulé. La restauration n'est pas prise en charge si une sous-étape est en cours. Vous ne pouvez pas restaurer une tâche après l'étape Undeploy task. La restauration n'est pas prise en charge une fois le plan terminé.
Go to Operation Center	Ouvre les détails de la tâche dans le centre d'opérations.
Edit	Ouvre la tâche pour modification dans DataStudio.