DataWorks prend en charge la gestion des processus aux étapes clés du développement des données. Vous pouvez ainsi appliquer des validations conformes à vos exigences métier.
Limites
Cette fonctionnalité est disponible uniquement avec DataWorks Enterprise Edition et les versions ultérieures.
Fonctionnement
Les espaces de travail DataWorks fonctionnent selon deux modes : mode standard et mode basique. Chaque mode suit un processus de développement de nœud différent, comme illustré dans les diagrammes suivants.
-
Flux de travail de développement des nœuds dans un espace de travail en mode standard
-
Flux de travail de développement des nœuds dans un espace de travail en mode basique
Appliquez la gestion des processus aux étapes clés, par exemple avant le débogage des nœuds, le déploiement dans l'environnement de développement ou le déploiement dans l'environnement de production.
|
Étape |
Exemple de vérification |
|
Avant l'exécution d'un nœud |
Dans le panneau Debugging Configurations à droite, sous DataWorks Configuration, définissez le groupe de ressources sur Serverless_Resource_Group et le quota de calcul sur Default post-paid Quota. Dans l'éditeur, saisissez l'instruction SQL |
|
Avant le déploiement d'un nœud dans l'environnement de développement |
Lorsque vous déployez un nœud, le système exécute Development Checker pour examiner le code SQL. Cliquez sur l'étape Development Checker dans le flux de déploiement. Le panneau Operation Checks à gauche affiche l'enregistrement de vérification et son état. Cliquez sur l'enregistrement pour ouvrir le panneau Check Details, où vous pouvez consulter les résultats de chaque élément de vérification, tels que Full Table Scan Check et High-Cost SQL Check. Pour les éléments avec un statut Warning, cliquez sur Mark as Passed pour les approuver manuellement. |
|
Avant le déploiement d'un nœud dans l'environnement de production |
À l'étape Production Checker du pipeline de déploiement, cliquez sur View Details ou Initiate Code Review. Le panneau de gauche répertorie les enregistrements SQL à déployer, tels que testSQL. Cliquez sur un enregistrement pour ouvrir le panneau Check Details correspondant à droite. Une fois toutes les vérifications réussies confirmées, procédez au déploiement. |
Data Asset Governance et Open Platform vous permettent d'ajouter des validations aux étapes clés du processus de développement des données.
|
Module de fonctionnalité |
Vérification avant exécution |
Vérification avant déploiement en dev |
Vérification avant déploiement en prod |
Gestion des processus |
|
Data Asset Governance |
|
|
|
Data Asset Governance fournit plusieurs éléments de vérification intégrés que vous pouvez activer selon vos besoins. Une fois activés, l'opération correspondante déclenche la logique de validation intégrée et le processus ne se poursuit qu'après la réussite de toutes les vérifications. |
|
Open Platform |
|
|
|
Si les éléments de vérification intégrés ne répondent pas à vos exigences de gestion des processus, utilisez Open Platform pour développer vos propres programmes de validation pour des événements spécifiques et les intégrer au flux de travail de développement des données. |
Les sections suivantes décrivent ces capacités de gestion des processus en prenant pour exemple le flux de travail d'un espace de travail en mode standard.
Vérifications intégrées : Data Asset Governance
Data Asset Governance propose plusieurs éléments de vérification intégrés que vous pouvez activer selon vos besoins. Lorsque vous effectuez une opération pertinente, la logique de validation intégrée s'exécute automatiquement. Le processus ne se poursuit qu'après la réussite de toutes les vérifications.
Dans le volet de navigation de gauche de Data Asset Governance, choisissez Governance Settings > Check Items pour accéder à la page Check Item Configuration. Cliquez sur l'onglet R&D. Dans la colonne Effective Checkpoint, identifiez le point de déclenchement d'un élément de vérification. Dans la colonne Enable, activez ou désactivez l'élément de vérification correspondant à l'aide du commutateur.
Pour le débogage des nœuds : activez les éléments de vérification dont le point de déclenchement (Effective Checkpoint) est Pre-event for Code Running.
Pour le déploiement des nœuds dans l'environnement de développement : activez les éléments de vérification dont le point de déclenchement (Effective Checkpoint) est Pre-event for Node Commit.
Pour le déploiement des nœuds dans l'environnement de production : activez les éléments de vérification dont le point de déclenchement (Effective Checkpoint) est Pre-event for Node Deployment.
Configuration
Activez les éléments de vérification dans Data Asset Governance et spécifiez l'espace de travail où ils s'appliquent. Pour les instructions générales, consultez Configurer les éléments de gouvernance.
Personnaliser la logique de validation : Open Platform
Si les éléments de vérification intégrés ne répondent pas à vos exigences, utilisez Open Platform pour développer des programmes de validation personnalisés pour des événements spécifiques et les intégrer au flux de travail de développement des données.
OpenEvent vous permet de vous abonner aux messages d'événements pour les opérations utilisateur dans Data Studio. Après réception d'un message d'événement, Extensions vous permet de créer un programme de validation et d'approbation personnalisé. Vous pouvez ensuite renvoyer les résultats d'approbation à DataWorks via un rappel OpenAPI. Pour plus d'informations, consultez Présentation d'OpenEvent et Présentation d'Extensions.
Lorsque vous utilisez Open Platform pour vous abonner aux événements et valider les opérations clés dans Data Studio, l'exécution d'une opération déclenche le processus de validation. Le diagramme suivant illustre le fonctionnement d'une vérification avant exécution.
Configuration
Abonnez-vous aux événements Data Studio dans Open Platform, développez une extension pour gérer ces événements, publiez l'extension sur DataWorks et activez-la dans l'espace de travail souhaité.
Pour le débogage des nœuds : abonnez-vous aux événements liés à l'exécution et traitez-les, tels que pre-event for file running.
Pour le déploiement des nœuds dans l'environnement de développement : abonnez-vous aux événements liés à la validation (commit) et traitez-les, tels que Pre-event for Node Commit et pre-event for table commit.
Pour le déploiement des nœuds dans l'environnement de production : abonnez-vous aux événements liés au déploiement et traitez-les, tels que Pre-event for Node Deployment et pre-event for table deployment.
Pour obtenir la liste des types d'événements pris en charge par Open Platform, consultez Présentation d'Extensions.
Pour les instructions générales sur l'utilisation d'Open Platform, consultez Développer et déployer une extension à l'aide d'un service auto-géré.
-
Pour les bonnes pratiques dans les scénarios typiques de gestion des processus, consultez les rubriques suivantes :