DataWorks:Présentation de Data Map

Limites

• La recherche de code et l'analyse du lignage des données sont disponibles uniquement dans l'édition Standard de DataWorks et les éditions supérieures.

• Les albums de données sont disponibles uniquement dans l'édition Professionnelle de DataWorks et les éditions supérieures.

Collecte des métadonnées

• Métadonnées MaxCompute et métadonnées DLF : Data Map collecte automatiquement les métadonnées MaxCompute et DLF via des collecteurs intégrés.

• Autres types de métadonnées : Utilisez la collecte personnalisée de métadonnées pour importer des métadonnées depuis d'autres sources de données, notamment Hologres, E-MapReduce, CDH Hive, StarRocks, AnalyticDB for MySQL, AnalyticDB for PostgreSQL, MySQL, PostgreSQL, Oracle, SQL Server, ClickHouse, Elasticsearch, Tablestore et Lindorm. Collecte des métadonnées. La collecte de métadonnées pour Hudi n'est pas prise en charge.

Connectivité réseau

Pour importer des métadonnées, assurez-vous que le collecteur de métadonnées de Data Map peut accéder à votre base de données. Si votre base de données utilise une liste d'autorisation pour le contrôle d'accès, ajoutez les blocs CIDR de la région de votre espace de travail DataWorks à cette liste. Configurations de liste d'autorisation requises pour la collecte de métadonnées à partir de sources de données avec contrôle d'accès.

Vue d'ensemble

• La page Vue d'ensemble affiche les métriques des ressources MaxCompute pour la région actuelle : nombre de projets, nombre de tables, utilisation du stockage, nombre d'API, tendances du stockage, principaux projets par stockage, principales tables par stockage et tables populaires.

• Consultez le nombre de bases de données, de tables et d'API pour les sources de données telles que AnalyticDB for MySQL 3,0, MySQL, Hologres, AnalyticDB for PostgreSQL et OTS une fois la collecte des métadonnées terminée.

Vue d'ensemble.

Récupération des métadonnées

Data Map agrège les métadonnées pour les tables, le code, les index, les API, les jeux de données, les modèles d'IA, les tâches algorithmiques, les services de modèles et les espaces de travail. Recherchez dans la région actuelle en filtrant par type, espace de travail, propriétaire, environnement, tag et catégorie. Récupération des métadonnées.

Sur la page de recherche de Data Map, le panneau de gauche vous permet de filtrer par source de données (MaxCompute, EMR Hive, Data Lake Formation, Oracle, Hologres et autres). La recherche prend en charge trois modes : Tables only, Columns only et Tables and columns. Dans les résultats de recherche, vous pouvez Request Permissions ou View Lineage pour chaque table.

Vous pouvez également parcourir les tables et les jeux de données sous forme de répertoire de données.

Détails des métadonnées

Cliquez sur le nom d'un objet pour ouvrir sa page de détails.

• Pour les tables, consultez les sections Basic Information, Output information et Lineage Information. Affichage des détails d'une table.

  L'onglet Lineage Information contient les sous-onglets Table Lineage, Column Lineage et Impact Analysis. Dans le sous-onglet Table Lineage, cliquez sur un nœud de table dans le graphique de lignage pour afficher son type d'entité, son nom, son type de source de données, sa taille de stockage, son cycle de vie et d'autres propriétés dans le panneau de détails situé à droite. Vous pouvez également cliquer sur Request Permissions pour soumettre une demande d'autorisation.

  Remarque

  Sur la page Data Lineage , visualisez le lignage interne des données des nœuds de moteur. Les types de nœuds de moteur pris en charge dépendent de la page du produit. MaxCompute prend également en charge le lignage de bout en bout basé sur la synchronisation hors ligne, ce qui vous permet d'étendre la hiérarchie de lignage pour tracer le lignage amont et aval d'une table jusqu'à ses sources originales et ses destinations finales.

• Pour une API, consultez les sections Parameter Information, Sample Response, Informations de lignage et Instructions d'utilisation. Affichage des détails d'une API.

  La page de détails de l'API affiche les Basic Information (nombre de vues, nombre d'appels, ID de l'API, chemin de l'API, espace de travail, propriétaire, etc.) et les Technical Information (type d'API, méthode de requête, type de réponse, type et nom de la source de données, nom de la table) sur le côté gauche.

• Pour un jeu de données, consultez ses Attribute Information, son Lignage et ses Instructions d'utilisation.

  L'onglet Property Information affiche les éléments suivants :

  • Propriétés de base : Entity Type, Source, Data Type, Owner, Name, Workspace, Storage Type, Visibility, Created At et Updated At.

  • Informations sur la version du jeu de données : Version, URI, Bucket, Path, Region et Default Mount Path. Cliquez sur View in OSS pour accéder au stockage correspondant.

Vous pouvez également rechercher du code. Cliquer sur un résultat vous redirige vers son nœud source ou sa ressource. détails des métadonnées.

Organisation et gestion des tables

Utilisez les catégories pour organiser les tables et filtrer par catégorie lors de la recherche. Gestion des configurations.

• Album de données : Organisez les données connexes dans un album de données géré d'un point de vue métier pour faciliter leur consultation et leur gestion.

• Categories

  1. Ajoutez des tables par lot à une catégorie spécifiée depuis la page Manage Configurations > Manage Categories.

     Après avoir configuré la navigation par catégorie, sélectionnez une catégorie de dernier niveau pour ajouter par lot des tables d'un projet spécifique. Gestion des configurations.

  2. Ajoutez des tables par lot à une catégorie spécifiée depuis la page My Data.

     Ajoutez par lot des tables à une catégorie depuis la page Mes données (Possédées par moi et Gérées par moi). Mes données.

• Gestion des tables : Pour les tables MaxCompute, modifiez par lot les noms d'affichage, définissez les cycles de vie, supprimez des tables de développement ou de production, ou transférez la propriété. Mes données.

• Favoris : Ajoutez les tables fréquemment consultées aux Favoris. Sur la page My Data, consultez les tables favorites dans le groupe My Favorites. Mes données.

  • Ajouter une table à My Favorites : Sur la page de détails de la table, cliquez sur Favori pour ajouter la table à My Favorites. Affichage des détails d'une table. Consultez la table sur la page My Data dans le groupe My Favorites. Ajout d'une table aux favoris.

  • Supprimer une table de la liste My Favorites :

    • Sur la page My Data, accédez au groupe My Favorites et retirez les tables des favoris.

    • Sur la page de détails d'une table favorite, utilisez l'option Remove from Favorites pour la supprimer.

Gestion des autorisations sur les tables

• Demander des autorisations pour opérer sur les tables

  Dans les espaces de travail en mode standard, les utilisateurs RAM ne peuvent pas exécuter de commandes SQL sur les tables de production par défaut. Pour accéder aux tables de production ou effectuer des requêtes inter-comptes, cliquez sur Apply for Permissions. Cette action vous redirige vers le Security Center. Demande d'autorisations sur les tables.

  Remarque

  Par défaut, les utilisateurs RAM sans autorisation de requête sur les tables ne peuvent pas utiliser la prévisualisation des données sur la page de détails de la table.

• Contrôler les autorisations de prévisualisation des données pour les tables MaxCompute

  Sur la page Manage Configurations > Manage Workspaces, activez les autorisations de prévisualisation pour les tables de développement ou de production MaxCompute dans un espace de travail spécifique. Tous les membres de l'espace de travail peuvent alors prévisualiser les tables sans demander d'accès. Gestion des espaces de travail.

  Remarque

  • Cette opération peut exposer des données sensibles. Évaluez attentivement les risques avant de procéder.

  • Le propriétaire du projet ou l'administrateur de l'espace de travail peut effectuer cette opération.

  • Cette autorisation contrôle uniquement la fonctionnalité Data Preview sur la page de détails de la table dans Data Map.

• Masquer une table : Les tables masquées sont exclues des résultats de recherche. Masquez une table pour tous les utilisateurs ou restreignez sa visibilité aux membres de l'espace de travail. Mes données.

  • Masquer une seule table : Sur la page My Data > Possédées par moi, mettez à jour les paramètres de visibilité de la table.

    Remarque

    Par défaut, le propriétaire de la table et l'administrateur de l'espace de travail ne sont pas soumis à ces contrôles d'autorisation.

    Cliquez sur Update Table Info dans la colonne Actions. Dans la boîte de dialogue, l'option Visibility propose les choix suivants :

    • Visible to all tenant members

    • Visible only to members of the associated workspace

    • Private

  • Masquage groupé au niveau du projet : Dans Manage Configurations > Manage Workspaces, sélectionnez Workspace et configurez les propriétés de masquage pour toutes les tables du projet.

    Dans le tableau MaxCompute Engine Configuration, activez l'option Default Project-only Visibility pour masquer par lot toutes les tables sous le moteur de calcul correspondant.

Actualisation des métadonnées de table

Actualisez les métadonnées d'une table si elle n'apparaît pas dans les résultats de recherche ou si les modifications récentes ne sont pas reflétées.

1. Sur la page des résultats de recherche, cliquez sur Refresh Table Metadata.

2. Accédez à la page My Data > Refresh Table Metadata dans Data Map.

   Sélectionnez un Data Type (MaxCompute, EMR Hive ou Data Lake Formation), saisissez le GUID de la table dans le champ GUID (par exemple, project.schema.table ou odps.project.schema.table), puis cliquez sur Refresh.

3. Sur la page de détails d'une table MaxCompute ou Data Lake Formation (DLF), cliquez sur Plus > Actualiser les métadonnées pour actualiser manuellement les métadonnées de la table. Sur une table MaxCompute, le menu Plus propose également l'option Générer une API, et les onglets de détail incluent Aperçu des données, Santé des données et Historique d'utilisation.

Après l'actualisation, recherchez à nouveau la table dans Data Map.