La lignée de données permet de suivre les relations entre les tables et les champs. Elle facilite le traçage de l'origine des données, la gestion des actifs de données et l'analyse de l'impact des échecs de tâches sur les dépendances en amont et en aval. Hologres s'intègre étroitement à DataWorks, ce qui permet de gérer la lignée de données pour Hologres via le module Data Map.
Contexte
Data Map est un module de DataWorks qui fournit un catalogue de données d'entreprise basé sur les métadonnées. Il offre des fonctionnalités telles que la consultation des détails des métadonnées et la gestion de la lignée et des catégories de données. Data Map vous aide à découvrir, comprendre et utiliser vos données. Pour plus d'informations, consultez la rubrique Présentation.
Limites
La fonctionnalité Data Map est prise en charge uniquement sur Hologres V1.1 ou version ultérieure. Si votre instance utilise une version antérieure, consultez la rubrique Résolution des échecs de préparation de la mise à niveau ou rejoignez le groupe DingTalk Hologres pour obtenir de l'aide. Pour plus de détails, consultez la rubrique Comment obtenir davantage de support en ligne ?.
L'affichage de la lignée de données nécessite l'édition Standard de DataWorks ou une édition ultérieure.
Après configuration d'un collecteur de métadonnées Hologres dans Data Map, comptez environ une heure avant que la lignée de données n'apparaisse.
Lignée de données Hologres
Suivez les étapes ci-dessous pour afficher la lignée de données entre les tables Hologres dans Data Map.
-
Collectez et ingérez les métadonnées Hologres.
Utilisez la fonctionnalité de collecte de métadonnées pour importer les métadonnées de votre source de données Hologres dans Data Map afin de les gérer de manière centralisée. Pour plus d'informations, consultez la rubrique Collecte de métadonnées.
Une fois la collecte des métadonnées terminée, accédez à la page Vue d'ensemble des données pour afficher les statistiques relatives aux bases de données et aux tables Hologres dans la région actuelle où un collecteur de métadonnées est configuré. Pour plus d'informations, consultez la rubrique Afficher les données globales. Data Map fournit un aperçu statistique de l'instance Hologres, incluant des métriques telles que le nombre total de bases de données et le nombre total de tables.
Pour trouver une table spécifique, consultez la rubrique Recherche de métadonnées.
-
Consultez les détails de la lignée.
Une fois la table cible trouvée, cliquez sur son nom pour accéder à la page des détails de la table. Vous pouvez y consulter les informations de base, les informations de sortie et la lignée de données de la table. Pour plus d'informations, consultez la rubrique Afficher les détails d'une table.
L'exemple suivant montre une table Hologres interne. Sur cette page, vous pouvez afficher les métadonnées de la table et sa lignée dans l'onglet Lineage. La page des détails de la table contient les onglets Details, Lineage et Instructions. Dans l'onglet Details, le sous-onglet Field Information affiche le nom et le type de données de chaque champ, par exemple o_orderkey(bigint) et o_custkey(integer). En plus des informations de base, le panneau de gauche comprend également les sections Technical Information et Business Information.
Lignée de données avec MaxCompute
Data Map vous permet également d'afficher la lignée de données entre MaxCompute et Hologres. Cliquez sur le lien de la table externe Hologres pour afficher les détails de la table MaxCompute correspondante.
Vous ne pouvez accéder à la page des détails de la table MaxCompute depuis ce lien que si le projet contenant la table MaxCompute est lié à l'espace de travail DataWorks cible.
Dans la section Technical Information de la page des détails de la table, le champ External Table affiche le nom de la table MaxCompute associée, par exemple default.weather. Cliquez sur ce lien pour accéder à la page des détails de la table MaxCompute correspondante.
Cette page affiche les informations de lignée de la table. Par exemple, elle indique que, dans le module Planification de DataWorks, les données sont écrites d'une table externe Hologres vers une table MaxCompute. Accédez également à l'onglet Field Lineage pour afficher les relations de lignée au niveau des champs. Par exemple, sur la page des détails de la table externe Hologres public.weather2, le côté gauche affiche les informations de base (telles que le type de source de données : Hologres, la base de données et le propriétaire) et les informations techniques (le chemin d'accès de la table externe). À droite, l'onglet Lineage Information affiche graphiquement la relation de mappage de la table externe entre cette table externe et la table MaxCompute default.weather.
Lignée de données avec Flink
Affichez la lignée de données entre Hologres et Flink dans la console Realtime Compute for Apache Flink. Pour plus d'informations, consultez la rubrique Afficher la lignée de données.