OpenEvent real-time message subscription for DataWorks - DataWorks

OpenEvent pour DataWorks transmet les messages de changement d'état à EventBridge, ce qui vous permet de vous abonner et de réagir en temps réel. Par exemple, abonnez-vous aux modifications de table pour surveiller les tables critiques, ou aux changements de tâche pour créer des tableaux de bord de surveillance personnalisés.

Présentation

DataWorks transmet les messages de changement d'état issus de ses processus principaux à OpenEvent. Utilisez le module OpenEvent pour gérer la transmission des messages dans votre espace de travail, et servez-vous d'EventBridge pour filtrer et consommer les messages d'événement.

Avantages :

Coûts d'exploitation et de maintenance réduits : Activez l'abonnement aux messages dans la plateforme ouverte DataWorks pour recevoir les messages d'événement.
Développement accéléré : Configurez les abonnements directement depuis la console DataWorks, sans configuration manuelle de l'envoi de messages. Préparez le SDK et abonnez-vous.
Réponses personnalisables : Abonnez-vous à des types d'événements spécifiques pour détecter les évolutions métier et déclencher des réponses adaptées.

Notes d'utilisation

Édition : Disponible uniquement avec DataWorks Enterprise Edition.
Régions : Pris en charge dans les régions Chine (Pékin), Chine (Hangzhou), Chine (Shenzhen), Chine (Shanghai), Chine (Zhangjiakou), Chine (Chengdu), États-Unis (Silicon Valley), États-Unis (Virginie), Allemagne (Francfort), Japon (Tokyo), Chine (Hong Kong) et Singapour.
Contrôle d'accès : Seuls les rôles Open Platform Administrator, Tenant Administrator, les comptes Alibaba Cloud ou les utilisateurs RAM disposant de l'autorisation Aliyundataworksfullaccess ont des droits de lecture et d'écriture sur la console développeur. Administrateur de la plateforme ouverte. Accorder l'autorisation AliyunDataWorksFullAccess à un utilisateur RAM.
Dépendance : OpenEvent s'appuie sur EventBridge pour l'abonnement et la consommation des messages. Activez EventBridge avant de commencer.

Concepts associés

DataWorks classe les messages d'événement en événements standard et événements de point d'extension, selon qu'ils créent ou non des points de contrôle dans le processus.

Regular Events : Développez un programme local pour recevoir ces messages et mettre en place des réponses personnalisées.
Extension Point Events : Ces événements offrent toutes les fonctionnalités des événements standard. Vous pouvez également enregistrer un programme local en tant qu'extension DataWorks afin d'implémenter une logique personnalisée et des contrôles comportementaux, tels que l'interception ou le blocage des actions utilisateur.

Les événements sont également classés par portée en événements au niveau de l'espace de travail et événements au niveau du locataire.

Événements au niveau de l'espace de travail : Générés par des modules propres à l'espace de travail, tels que Data Studio (exécution de nœuds) et Operation Center (changements d'état des instances planifiées).
Événements au niveau du locataire : Générés par des modules au niveau du locataire, comme la suppression d'un espace de travail depuis la console. Les tables d'événements suivantes détaillent le type, la catégorie et le format de message pour chaque module.

Types d'événements pris en charge

Les tableaux suivants répertorient les événements de point d'extension et les événements standard aux niveaux de l'espace de travail et du locataire.

Événements au niveau du locataire

Console

Formats des messages de la console : Formats des messages d'événement de la console.

Type d'événement	Événement	Événement standard	Événement de point d'extension	Exemple (opérations qui génèrent des messages d'événement)
Suppression d'un espace de travail	Événement de pré-suppression de l'espace de travail	Non pris en charge	Pris en charge	Cet événement se déclenche avant qu'un utilisateur ne supprime un espace de travail. L'Pre-delete Workspace Event active l'extension correspondante pour créer un point de contrôle de processus.
Suppression d'un espace de travail	Post-suppression de l'espace de travail	Pris en charge	Non pris en charge

Téléchargement et envoi de données

Formats des messages : Formats des messages d'événement de téléchargement et d'envoi de données.

Type d'événement	Événement	Événement standard	Événement de point d'extension	Exemple (opérations qui génèrent des messages d'événement)
Téléchargement et envoi de données	Événement de pré-téléchargement des données - Génération de fichier	Non pris en charge	Pris en charge	Un utilisateur télécharge des données depuis le centre de téléchargement. Avant le téléchargement, l'Pre-data Download Event capture les informations relatives à l'opération.
	Événement de pré-téléchargement des données - Téléchargement de fichier	Non pris en charge	Pris en charge
	Événement de pré-envoi des données	Non pris en charge	Pris en charge

Événements au niveau de l'espace de travail

Data Studio

Formats des messages : Formats des messages d'événement Data Studio.

Type d'événement	Événement	Événement standard	Événement de point d'extension	Exemple (opérations générant des messages d'événement)
Modifications de nœud	Ajouter un nœud	Pris en charge	Non pris en charge	Créer un nœud et le déployer en production
Modifications de nœud	Mettre à jour un nœud	Pris en charge	Non pris en charge	Modifier un nœud dans l'environnement de développement Déployer la modification en production
Modifications de fichier Nœud Resource Fonction	Événement pré-suppression de fichier	Non pris en charge	Pris en charge	Supprimer un fichier dans l'environnement de développement. Le fichier supprimé est déplacé vers la corbeille.
	Événement pré-soumission de fichier	Non pris en charge	Pris en charge	Soumettre un nœud, une resource ou une fonction dans Data Studio.
	Événement pré-déploiement de fichier	Non pris en charge	Pris en charge	Déployer un nœud, une resource ou une fonction soumis dans Data Studio.
	Événement pré-exécution du code	Non pris en charge	Pris en charge	Exécuter le code du nœud dans Data Studio.
Modifications de table	Événement pré-soumission de table vers l'environnement de développement	Non pris en charge	Pris en charge	Événement de point d'extension pour la soumission de table : par exemple, soumettre une table dans la gestion des tables.
Modifications de table	Événement pré-soumission de table vers la production	Non pris en charge	Pris en charge	Événement de point d'extension pour le déploiement de table : par exemple, déployer une table dans la gestion des tables. Remarque Seuls les espaces de travail en mode standard prennent en charge le déploiement des tables dans la gestion des tables. Par conséquent, l'événement de point d'extension pour le déploiement de table existe uniquement en mode standard.

Data Integration

Formats des messages : Formats des messages d'événement Data Integration.

Type d'événement	Événement	Événement standard	Événement de point d'extension	Exemple (opérations générant des messages d'événement)
Événements de modification de nœud	Démarrer une tâche en temps réel	Non pris en charge	Pris en charge	Démarrer une tâche en temps réel dans Data Integration.
Événements de modification de nœud	Démarrage groupé de tâches en temps réel	Non pris en charge	Pris en charge	Démarrer plusieurs tâches en temps réel dans Data Integration.

Operation Center

Formats de message : Formats des messages d'événement d'Operation Center.

Type d'événement	Événement	Événement standard	Événement de point d'extension	Exemple (opérations générant des messages d'événement)
Modifications de nœud	Supprimer un nœud	Pris en charge	Non pris en charge	Déployez l'opération de suppression en production pour annuler le déploiement du nœud de production. Supprimez un nœud de la corbeille.
	Événement pré-annulation du déploiement d'un nœud	Non pris en charge	Pris en charge	Annulez directement le déploiement d'un nœud à partir des tâches planifiées dans l'environnement de production. Remarque Cette opération supprime également le nœud dans Data Studio et le déplace vers la corbeille.
	Événement pré-gel d'un nœud	Non pris en charge	Pris en charge	Gелеz une tâche sur la page des tâches planifiées.
	Événement pré-dégel d'un nœud	Non pris en charge	Pris en charge	Dégelez une tâche sur la page des tâches planifiées.
Backfill des données d'un nœud	Événement pré-backfill des données	Non pris en charge	Pris en charge	Effectuez un backfill des données pour le nœud actuel d'une tâche planifiée. Effectuez un backfill des données pour le nœud actuel et les nœuds en aval d'une tâche planifiée. Effectuez un backfill des données en mode massif. Effectuez un backfill des données en mode avancé.
Changements d'état des tâches	Changement d'état d'une tâche planifiée	Pris en charge	Non pris en charge	Les scénarios suivants déclenchent un événement de changement d'état d'une tâche planifiée : Une tâche planifiée est envoyée à Data Quality pour validation des données. Une tâche planifiée valide les conditions de branche. Une tâche est déclenchée par planification, manuellement ou par un événement. L'état de la tâche passe de Pending Resource à Running. Une tâche planifiée termine son exécution (réussie ou échouée). L'état de la tâche passe de Running à Succeeded. Après l'échec d'une tâche planifiée, vous choisissez de la réexécuter. L'état de la tâche passe de Failed à Running. Une tâche planifiée est configurée pour s'exécuter à une heure spécifique. L'état de la tâche passe en attente de l'heure planifiée (DueTime ou cycleTime).
Modifications d'instance	Geler une instance	Pris en charge	Non pris en charge	Les événements suivants sont déclenchés après avoir effectué ces opérations sur une instance dans la liste scheduled instance d'Operation Center. Geler une instance. Dégeler une instance. Arrêter une instance. Réexécuter une instance. Marquer une instance comme réussie. Supprimer une dépendance amont spécifiée d'une instance.
	Dégeler une instance	Pris en charge	Non pris en charge
	Arrêter une instance	Pris en charge	Non pris en charge
	Réexécuter une instance Réexécuter Réexécuter en aval	Pris en charge	Non pris en charge
	Marquer une instance comme réussie	Pris en charge	Non pris en charge
	Supprimer une dépendance amont spécifiée d'une instance	Pris en charge	Non pris en charge
	Événement pré-gel d'instance	Non pris en charge	Pris en charge	Lorsque vous effectuez une opération sur une instance dans la liste scheduled instance d'Operation Center, l'événement pré-opération correspondant est déclenché. Geler une instance. Dégeler une instance. Réexécuter une instance. Marquer une instance comme réussie. Arrêter une instance.
	Événement pré-dégel d'instance	Non pris en charge	Pris en charge
	Événement pré-réexécution d'instance	Non pris en charge	Pris en charge
	Événement pré-marquage d'instance comme réussie	Non pris en charge	Pris en charge
	Événement pré-arrêt d'instance	Non pris en charge	Pris en charge
	Supprimer les instances expirées	Pris en charge	Non pris en charge
Changements d'état de workflow	Changement d'état de workflow Instances de backfill de données Workflows manuels	Pris en charge	Non pris en charge	Surveillance de l'état du workflow générée lors d'une opération de backfill de données. Surveillance de l'état du workflow générée lors de l'exécution d'un workflow manuel.
Alertes de surveillance	Alerte de surveillance	Pris en charge	Non pris en charge	Exemple d'alerte de ligne de base : une tâche sur une ligne de base présente une heure d'achèvement estimée trop tardive, ce qui déclenche une alerte de ligne de base. Exemple d'alerte d'événement : une tâche sur une ligne de base échoue, ce qui déclenche une alerte d'événement. Exemple d'alerte de règle : après la création d'une règle de surveillance pour les nœuds orphelins, un nœud orphelin apparaît dans un workflow, ce qui déclenche cette alerte de règle.

Security Center

Formats des messages : Formats des messages d'événement Security Center.

Type d'événement	Événement	Événement standard	Événement de point d'extension	Exemple (opérations générant des messages d'événement)
Création/approbation de demande d'autorisation	Événement de pré-création de demande d'autorisation	Non pris en charge	Pris en charge	Par exemple, dans Security Center, accédez à la page Data Access Control > Permission Request pour créer des demandes d'autorisation pour les Functions, les Tables et les Resources.
Création/approbation de demande d'autorisation	Finaliser une demande	Pris en charge	Non pris en charge	Par exemple, dans Security Center, accédez à la page Data Access Control > Permission Approval pour approuver les autorisations relatives aux tables, aux resources et aux functions pour l'ensemble des projets.
Modifications des autorisations de table	Demande d'autorisation de table	Non pris en charge	Pris en charge	Par exemple, un utilisateur demande des autorisations de lecture, d'écriture ou de modification pour une table spécifique en fonction de ses besoins.

Data Quality

Formats des messages : Formats des messages d'événement Data Quality.

Type d'événement	Événement	Événement standard	Événement de point d'extension	Exemple (opérations générant des messages d'événement)
Validation de la qualité des données	Retour d'information sur le résultat de validation	Pris en charge	Non pris en charge	Retour d'information sur les résultats de validation. Par exemple, dans Data Quality, activez une règle exigeant que le nombre de lignes d'une table soit supérieur à 0. Un utilisateur soumet un retour d'information sur un résultat de validation, et le système envoie ce retour (ID de règle, contenu et autres informations) à l'abonné.
Validation de la qualité des données	Validation terminée	Pris en charge	Non pris en charge	Une fois la validation de la règle terminée, le résultat (statut de réussite/échec, exemples et autres informations) est envoyé. Par exemple, dans Data Quality, activez une règle exigeant que le nombre de lignes d'une table soit supérieur à 0. Lorsque la validation est terminée, le résultat est envoyé à l'abonné.
Événements de pré-règle de qualité des données	Événement de pré-création groupée de règles de qualité des données	Non pris en charge	Pris en charge	Par exemple, dans Data Quality, accédez à la page Rule Configuration > Configure by Table et ouvrez la page de détails d'une table spécifique. Les opérations suivantes effectuées dans l'onglet Rule Management déclenchent les pré-événements correspondants. Créer plusieurs règles de surveillance de la qualité des données. Modifier plusieurs règles de surveillance de la qualité des données. Supprimer plusieurs règles de surveillance de la qualité des données. Modifier une règle de surveillance de la qualité des données spécifique.
	Événement de pré-mise à jour groupée de règles de qualité des données	Non pris en charge	Pris en charge
	Événement de pré-suppression groupée de règles de qualité des données	Non pris en charge	Pris en charge
	Événement de pré-mise à jour de règle de qualité des données	Non pris en charge	Pris en charge
Événements de pré-surveillance de la qualité des données	Événement de pré-création de surveillance de la qualité des données	Non pris en charge	Pris en charge	Par exemple, dans Data Quality, accédez à la page Rule Configuration > Configure by Table et ouvrez la page de détails d'une table spécifique. Les opérations suivantes effectuées dans l'onglet Quality Monitoring déclenchent les pré-événements correspondants. Créer une configuration de surveillance de la qualité des données. Modifier une configuration de surveillance de la qualité des données. Cloner une configuration de surveillance de la qualité des données. Supprimer par lot des configurations de surveillance de la qualité des données.
	Événement de pré-mise à jour de surveillance de la qualité des données	Non pris en charge	Pris en charge
	Événement de pré-clonage de surveillance de la qualité des données	Non pris en charge	Pris en charge
	Événement de pré-suppression groupée de surveillance de la qualité des données	Non pris en charge	Pris en charge
Événements de pré-abonnement aux alertes de surveillance de la qualité des données	Événement de pré-création d'abonnement aux alertes de surveillance de la qualité des données	Non pris en charge	Pris en charge	Par exemple, dans Data Quality, accédez à la page Rule Configuration > Configure by Table et ouvrez la page de détails d'une table spécifique. Dans l'onglet Quality Monitoring, abonnez-vous aux alertes pour une configuration de surveillance de la qualité spécifique.
	Événement de pré-mise à jour d'abonnement aux alertes de surveillance de la qualité des données	Non pris en charge	Pris en charge	Par exemple, dans Data Quality, accédez à la page Rule Configuration > Configure by Table et ouvrez la page de détails d'une table spécifique. Dans l'onglet Quality Monitoring, modifiez les informations d'abonnement aux alertes d'une configuration de surveillance de la qualité spécifique.
	Événement de pré-suppression d'abonnement aux alertes de surveillance de la qualité des données	Non pris en charge	Pris en charge	Par exemple, dans Data Quality, accédez à la page Rule Configuration > Configure by Table et ouvrez la page de détails d'une table spécifique. Dans l'onglet Quality Monitoring, supprimez les informations d'abonnement aux alertes d'une configuration de surveillance de la qualité spécifique.