DataWorks:Aperçu de la gouvernance des actifs de données

Limites

• Éditions

  Seules les éditions Enterprise Edition de DataWorks ou supérieures prennent en charge la gouvernance des actifs de données. Pour plus d'informations sur les éditions de DataWorks, consultez la rubrique DataWorks : Fonctionnalités par édition. Pour savoir comment activer DataWorks, consultez le Guide d'achat.

• Régions

  La gouvernance des actifs de données est disponible dans les régions suivantes : Chine (Hangzhou), Chine (Shanghai), Chine (Pékin), Chine (Zhangjiakou), Chine (Shenzhen), Chine (Chengdu), Chine (Hong Kong), Singapour, Japon (Tokyo),

  Malaisie (Kuala Lumpur), Indonésie (Jakarta), Allemagne (Francfort), États-Unis (Silicon Valley) et États-Unis (Virginie).

• Autorisations

  • Le tableau suivant décrit les autorisations de chaque rôle dans la gouvernance des actifs de données.

    Rôle	Autorisation	Références
    Administrateur de la gouvernance des données au niveau du locataire	Un administrateur de la gouvernance des données au niveau du locataire peut consulter les rapports de gouvernance, les problèmes de gouvernance et les événements de vérification depuis la perspective Global et effectuer des actions correctives.	Pour savoir comment attribuer des autorisations aux utilisateurs, consultez la section Gérer les rôles des membres du locataire de la rubrique Gérer les autorisations sur les services au niveau global. Pour plus d'informations sur les autorisations d'un administrateur de la gouvernance des données, consultez la section Gouvernance des données de la rubrique Autorisations des rôles intégrés au niveau de l'espace de travail.
    Administrateur de l'espace de travail	Un administrateur de l'espace de travail peut consulter les rapports de gouvernance depuis la perspective Workspace View. Pour afficher les rapports de gouvernance d'un espace de travail spécifique, vous devez disposer du rôle d'administrateur pour cet espace de travail.	Pour savoir comment attribuer des autorisations aux utilisateurs, consultez la section Ajouter un utilisateur RAM à un espace de travail en tant que membre et lui attribuer des rôles de la rubrique Gérer les autorisations sur les services au niveau de l'espace de travail. Pour savoir comment consulter les rapports de gouvernance, consultez la section Consulter le rapport d'évaluation de la gouvernance de la rubrique Consulter les résultats de la gouvernance des données.
    Administrateur de la gouvernance des données au niveau de l'espace de travail	Un administrateur de la gouvernance des données au niveau de l'espace de travail peut consulter et gérer le contenu de la gouvernance des données de l'espace de travail auquel le rôle est associé. Remarque Ce rôle ne permet pas de consulter l'état de la gouvernance des données de tous les espaces de travail d'une région depuis la dimension globale, ni de gérer les opérations de gouvernance globales, telles que l'activation des éléments de vérification au niveau global. Pour permettre à un utilisateur Resource Access Management (RAM) d'effectuer des opérations de gouvernance globales, attribuez-lui le rôle d'administrateur de la gouvernance des données au niveau du locataire. Pour plus d'informations, consultez la section Rôle d'administrateur de la gouvernance des données au niveau du locataire.	Pour savoir comment attribuer des autorisations aux utilisateurs, consultez la section Ajouter un utilisateur RAM à un espace de travail en tant que membre et lui attribuer des rôles de la rubrique Gérer les autorisations sur les services au niveau de l'espace de travail. Pour connaître les fonctionnalités prises en charge par le rôle d'administrateur de la gouvernance des données au niveau de l'espace de travail, consultez la section Gouvernance des données de la rubrique Autorisations des rôles intégrés au niveau de l'espace de travail.
    Utilisateur standard	Les utilisateurs standards traitent les problèmes détectés dans la gouvernance des actifs de données. Un utilisateur standard peut consulter les événements de vérification et les problèmes de gouvernance depuis la dimension personnelle et effectuer des opérations de rectification. Pour rectifier les problèmes détectés dans un espace de travail, vous devez y être ajouté en tant que membre. Remarque Par défaut, à l'exception des comptes Alibaba Cloud et des utilisateurs RAM auxquels la stratégie AliyunDataWorksFullAccess est attachée, tous les autres utilisateurs sont considérés comme des utilisateurs standards au sein d'un locataire.	Pour savoir comment attribuer des autorisations aux utilisateurs, consultez la section Ajouter un utilisateur RAM à un espace de travail en tant que membre et lui attribuer des rôles de la rubrique Gérer les autorisations sur les services au niveau de l'espace de travail.

  • Seuls les comptes Alibaba Cloud et les utilisateurs RAM disposant de la stratégie AliyunDataWorksFullAccess peuvent utiliser toutes les fonctionnalités de la gouvernance des actifs de données. Pour utiliser toutes les fonctionnalités en tant qu'utilisateur RAM, vous devez demander les autorisations requises. Pour plus d'informations, consultez la section Accorder les autorisations pour effectuer des opérations dans DataWorks à un utilisateur RAM de la rubrique Préparer un utilisateur RAM.

• Ressources de calcul

  Actuellement, la gouvernance des actifs de données prend uniquement en charge les ressources de calcul MaxCompute, E-MapReduce (EMR) et Hologres.

  Remarque

  • Pour utiliser une ressource de calcul Hologres dans la gouvernance des actifs de données, vous devez d'abord collecter ses métadonnées avec Data Map. Pour plus d'informations, consultez la rubrique Collecte de métadonnées.

  • La gouvernance des actifs de données prend en charge les ressources de calcul Hologres uniquement dans les régions Chine (Pékin), Chine (Shanghai), Chine (Hangzhou) et Chine (Shenzhen).

Logique de gouvernance des données

La gouvernance des actifs de données détecte les événements de vérification en fonction des éléments de vérification avant la validation et le déploiement des tâches de développement de données, et identifie les problèmes de gouvernance en fonction des éléments de gouvernance après le déploiement. Cela garantit une prise en charge complète des événements et des problèmes liés aux données. Si une tâche échoue à une vérification, un événement est généré. Les événements graves peuvent bloquer le processus de développement ultérieur. Vous pouvez consulter et traiter l'événement dans la gouvernance des actifs de données, puis poursuivre le développement une fois la tâche validée. L'organigramme suivant décrit la logique de gouvernance des données :

DataWorks propose des espaces de travail en modes standard et basique. Le processus de développement des tâches varie selon le mode de l'espace de travail. Cette rubrique utilise un espace de travail en mode standard pour illustrer le processus de développement des tâches. Pour plus d'informations sur le processus de développement dans différents modes, consultez la rubrique DataStudio (hérité).

• Exécutez des vérifications basées sur les éléments de vérification.

  Les éléments de vérification valident les données par rapport aux règles avant la validation et le déploiement des tâches. Si le système détecte une violation, il génère un événement de vérification pour bloquer le processus de développement ultérieur. Vous pouvez résoudre le problème afin que le processus de développement se déroule comme prévu.

• Exécutez des vérifications basées sur les éléments de gouvernance.

  La détection des éléments de gouvernance est un mécanisme de gouvernance post-déploiement. Utilisez les perspectives Global, Individual ou Workspace View dans la gouvernance des actifs de données pour afficher les éléments de gouvernance en attente. Le personnel de gouvernance peut utiliser ces informations pour découvrir et résoudre rapidement les problèmes, aidant ainsi l'équipe à atteindre ses objectifs de gouvernance.

Processus de gouvernance des données

1. Configurez les outils de gouvernance.

   • Activez un modèle de plan de gouvernance et configurez des éléments personnalisés.

     Opération	Description	Références
     Configurer des éléments de vérification personnalisés	Si les éléments de vérification du modèle ne répondent pas à vos besoins métier, vous pouvez configurer des éléments de vérification personnalisés. Créez un élément de vérification pour une extension personnalisée enregistrée. DataWorks vous permet également de créer des éléments de vérification dans la gouvernance des actifs de données pour une extension personnalisée. Après avoir créé ces éléments, la gouvernance des actifs de données détecte les événements de vérification déclenchés par l'extension personnalisée. Désactivez les éléments de vérification. Si un élément de vérification du modèle de plan de gouvernance n'est pas nécessaire pour un espace de travail, vous pouvez le désactiver. Une fois l'élément désactivé, la gouvernance des actifs de données ne détecte plus ses événements de vérification dans cet espace de travail.	Configurer les éléments de vérification
     Configurer un élément de gouvernance personnalisé	Si un élément de gouvernance du modèle de plan de gouvernance n'est pas nécessaire pour un espace de travail, vous pouvez créer une règle pour le désactiver. Une fois l'élément de gouvernance désactivé, la gouvernance des actifs de données ne détecte plus les problèmes de gouvernance basés sur cet élément dans l'espace de travail. Les problèmes de gouvernance détectés ne s'affichent pas dans l'onglet Problème de gouvernance. Remarque Vous ne pouvez désactiver que les éléments de gouvernance facultatifs. Vous ne pouvez pas désactiver les éléments de gouvernance obligatoires ni créer de nouveaux éléments de gouvernance.	Configurer les éléments de gouvernance

   • (Facultatif) Configurez une unité de gouvernance.

     Vous pouvez effectuer la gouvernance des données de plusieurs espaces de travail de manière centralisée en créant une unité de gouvernance. Vous pourrez ainsi consulter les statistiques agrégées sur les scores de santé, les problèmes de gouvernance et les événements de vérification pour les espaces de travail au sein de l'unité de gouvernance. Pour plus d'informations, consultez la rubrique Configurer les unités de gouvernance.

   • (Facultatif) Configurez les méthodes de notification des problèmes.

     Pour que le système notifie le personnel désigné des problèmes détectés via des messages système, des e-mails, des messages de groupe DingTalk ou des URL webhook, configurez les méthodes de notification des problèmes. Cela garantit que le personnel peut consulter et traiter les problèmes rapidement. Pour plus d'informations, consultez la rubrique Paramètres d'alerte.

2. Démarrez une vérification et traitez les problèmes de gouvernance détectés.

   • Vérifiez les données pour détecter les violations des éléments de vérification avant leur validation et leur déploiement.

     Avant la validation et le déploiement des données, DataWorks les vérifie par rapport aux éléments de vérification configurés. Si les données violent l'un des éléments de vérification, des événements de vérification sont générés. Vous pouvez ensuite consulter et traiter ces événements. Pour plus d'informations, consultez la rubrique Traiter les événements de vérification.

   • Exécutez des vérifications après le déploiement des tâches.

     Après la validation et le déploiement des données, DataWorks détecte les problèmes de gouvernance en fonction des éléments de gouvernance configurés. Vous pouvez ensuite consulter et traiter ces problèmes. Pour plus d'informations, consultez la rubrique Traiter les événements de vérification.

   • Exécutez des vérifications Asset 360.

     Vous pouvez utiliser la fonctionnalité Asset 360 pour détecter, consulter et traiter les problèmes de gouvernance sur des tâches et des tables spécifiques. Pour plus d'informations, consultez la rubrique Asset 360.

   • Effectuez la gouvernance automatisée des vues matérialisées.

     La gouvernance des actifs de données prend en charge les vues matérialisées avec une gouvernance automatisée et des recommandations intelligentes. Il s'agit d'une solution intelligente et automatisée pour les tâches de calcul Big Data qui gèrent fréquemment un grand nombre de sous-requêtes similaires. Pour plus d'informations, consultez la rubrique Vues matérialisées.

   Si des problèmes invalides sont détectés, vous pouvez les ajouter à une liste d'autorisation ou annuler le déploiement des tâches ou des tables associées. Pour plus d'informations, consultez les rubriques Ajouter un problème à une liste d'autorisation et Annulation gracieuse du déploiement.

3. Sélectionnez une dimension d'analyse.

   • Selon les scénarios d'utilisation : DataWorks propose plusieurs dimensions telles que la production de données, l'utilisation des données et la gestion des données pour vous aider à analyser l'efficacité de la gouvernance et à gouverner les données efficacement.

   • Selon l'utilisation rationnelle des ressources : DataWorks fournit des statistiques sur la consommation des ressources, l'état d'exécution des tâches, le nombre de tables et le stockage MaxCompute, ainsi qu'une vue d'ensemble et le détail de l'utilisation des ressources. Les développeurs de données et les administrateurs peuvent analyser l'utilisation globale des ressources de l'espace de travail et optimiser l'allocation des ressources en fonction de ces statistiques. Pour plus d'informations, consultez la rubrique Analyse des actifs

4. Consultez les résultats de la gouvernance.

   Après avoir traité les problèmes de gouvernance, accédez à la page Overview > Workbench pour consulter les résultats de la gouvernance sous différentes perspectives. En analysant les résultats, vous pouvez identifier rapidement les dimensions et les catégories présentant le plus de problèmes, ce qui vous aide à piloter leur résolution et à atteindre vos objectifs de gouvernance.

   La gouvernance des actifs de données calcule les scores de santé en fonction des éléments de gouvernance à l'aide d'un modèle d'évaluation de la santé. Vous pouvez consulter les scores de santé dans les rapports de gouvernance et les classements pour comprendre les résultats de la gouvernance. Un score de santé plus élevé indique une meilleure efficacité de la gouvernance. Pour plus d'informations, consultez la section Évaluation quantitative : scores de santé de la rubrique Aperçu.

Évaluation quantitative : scores de santé

Un score de santé est un score composite qui reflète l'état de vos actifs de données. Le système le calcule en appliquant des techniques de traitement des données et d'apprentissage automatique aux métadonnées, telles que le comportement des utilisateurs, les caractéristiques des données et les propriétés des tâches, couvrant la production, la distribution et la gestion des données. Le système de score de santé repose sur cinq domaines clés : le stockage, le calcul, la R&D, la qualité et la sécurité, avec cinq métriques de score de santé correspondantes. La page des scores de santé affiche un diagramme radar avec les scores de gouvernance pour cinq dimensions : R&D, stockage, calcul, qualité et sécurité. Elle fournit également des informations sur les tendances mois par mois.

Les scores de santé vont de 0 à 100. Un score plus élevé indique des actifs de données plus sains. Cela vous aide à utiliser les données de manière sécurisée, efficace et fiable, tout en garantissant la production de données et les opérations métier. La gouvernance des actifs de données utilise un modèle d'évaluation de la santé intégré pour effectuer une évaluation quantitative de l'efficacité de la gouvernance et génère un score de santé global ainsi qu'un score pour chaque dimension de gouvernance. Le tableau suivant décrit les niveaux d'évaluation et les plages de scores.

• Excellent : [90, 100]

• Bon : [75, 90)

• Passable : [60, 75)

• Amélioration requise : [30, 60)

• Faible : [0,30)

Termes

• Check item : Mécanisme de gouvernance proactive appliqué lors du flux de travail de production des données. Il effectue des pré-vérifications à des étapes critiques, telles que l'exécution et le déploiement des tâches, pour identifier les problèmes potentiels comme une analyse complète de table ou une dépendance de planification manquante. Si le système détecte un élément non conforme, il génère un événement de vérification et bloque automatiquement le processus. Cela impose la normalisation et standardise le traitement des données.

• Governance Item : Un élément de gouvernance définit un problème potentiel ou une zone d'optimisation identifiée lors de la gouvernance des données. Il couvre des domaines tels que les normes de développement, la qualité des données, la conformité à la sécurité et l'utilisation des ressources. Les éléments de gouvernance sont divisés en éléments obligatoires et facultatifs. Les éléments obligatoires sont activés par défaut et ne peuvent pas être modifiés, tandis que les éléments facultatifs peuvent être activés selon les besoins. Parmi les exemples figurent Task running time is too long, Continuous error nodes et No one visits leaf nodes.

• Governance Issue : Problème détecté par une analyse des éléments de gouvernance nécessitant une résolution.

• Governance unit : Une unité de gouvernance est composée d'un ou plusieurs espaces de travail. Vous pouvez consulter les statistiques sur le score de santé global, les problèmes de gouvernance et les événements de vérification des espaces de travail au sein d'une unité de gouvernance.

• Governance plan : La gouvernance des actifs de données propose des modèles de plans de gouvernance pour différents scénarios, conçus pour atteindre des objectifs prédéterminés dans des délais spécifiques. Un modèle de plan de gouvernance vous aide à identifier rapidement les éléments de gouvernance et de vérification pertinents et à découvrir les opportunités d'optimisation. Cela aide les responsables de la gouvernance à suivre l'efficacité et assiste l'équipe à atteindre efficacement les objectifs de gouvernance grâce à des évaluations quantitatives.

• Knowledge Base : Contient les définitions des éléments de vérification et de gouvernance intégrés dans la gouvernance des actifs de données. Elle aide le personnel de gouvernance à identifier et comprendre rapidement les problèmes spécifiques et fournit des informations de référence et des conseils pratiques pour améliorer l'efficacité.

Documentation connexe

Pour plus d'informations sur l'utilisation des éléments de vérification lors du développement des données, consultez la rubrique Diagnostiquer et gouverner les problèmes de développement des nœuds.