DataWorks:Data Map

Limites

• La recherche de code et l'analyse de la traçabilité des données sont disponibles uniquement dans DataWorks Standard Edition et les éditions supérieures.

• Les albums de données sont disponibles uniquement dans DataWorks Professional Edition et les éditions supérieures.

Collecte des métadonnées

• Métadonnées MaxCompute et métadonnées DLF : Data Map collecte automatiquement les métadonnées MaxCompute et DLF via des collecteurs intégrés.

• Autres types de métadonnées : Utilisez la collecte personnalisée de métadonnées pour importer des métadonnées depuis d'autres sources de données, notamment Hologres, E-MapReduce, CDH Hive, StarRocks, AnalyticDB for MySQL, AnalyticDB for PostgreSQL, MySQL, PostgreSQL, Oracle, SQL Server, ClickHouse, Elasticsearch, Tablestore, Lindorm et OSS. Collecte des métadonnées.

Connectivité réseau

Pour importer des métadonnées, assurez-vous que le collecteur de métadonnées Data Map peut accéder à votre base de données. Si votre base de données utilise une liste d'autorisation pour le contrôle d'accès, ajoutez les blocs CIDR de la région de votre espace de travail DataWorks à la liste d'autorisation. Configurations de liste d'autorisation requises pour la collecte de métadonnées depuis des sources de données avec contrôle d'accès.

Aperçu

• La page Aperçu affiche les métriques des ressources MaxCompute pour la région actuelle : nombre de projets, nombre de tables, utilisation du stockage, nombre d'API, tendances du stockage, principaux projets par stockage, principales tables par stockage et tables populaires.

• Consultez le nombre de bases de données, de tables et d'API pour des sources de données telles que AnalyticDB for MySQL 3.0, MySQL, Hologres, AnalyticDB for PostgreSQL et OTS une fois la collecte des métadonnées terminée.

Aperçu.

Récupération des métadonnées

Data Map agrège les métadonnées pour les tables, le code, les index, les API, les jeux de données, les modèles d'IA, les tâches algorithmiques, les services de modèles et les espaces de travail. Recherchez dans la région actuelle par type, espace de travail, propriétaire, environnement, tag et catégorie. Récupération des métadonnées.

Vous pouvez également parcourir les tables et les jeux de données sous forme de répertoire de données.

Détails des métadonnées

Cliquez sur le nom d'un objet pour ouvrir sa page de détails.

• Pour les tables, consultez les sections Basic Information, Output information et Lineage Information. Affichage des détails d'une table.

  Remarque

  Sur la page Data Lineage , consultez la traçabilité interne des données des nœuds de moteur. Les types de nœuds de moteur pris en charge dépendent de la page du produit. MaxCompute prend également en charge la traçabilité de bout en bout basée sur la synchronisation hors ligne, ce qui permet d'étendre la hiérarchie de traçabilité pour retracer la lignée amont et aval d'une table jusqu'à ses sources originales et ses destinations finales.

• Pour une API, consultez les sections Parameter Information, Sample Response, Informations de traçabilité et Instructions d'utilisation. Affichage des détails d'une API.

  

• Pour un jeu de données, consultez ses Attribute Information, sa Traçabilité et ses Instructions d'utilisation.

  

Vous pouvez également rechercher du code. Cliquez sur un résultat pour accéder à son nœud source ou à sa ressource. détails des métadonnées.

Organisation et gestion des tables

Utilisez les catégories pour organiser les tables et filtrer par catégorie lors de la recherche. Gestion des configurations.

• Album de données : Organisez les données connexes dans un album de données géré d'un point de vue métier pour faciliter leur consultation et leur gestion.

• Categories

  1. Ajoutez plusieurs tables à une catégorie spécifiée depuis la page Manage Configurations > Manage Categories.

     Après avoir configuré la navigation par catégorie, sélectionnez une catégorie de dernier niveau pour ajouter en lot des tables provenant d'un projet spécifique. Gestion des configurations.

  2. Ajoutez plusieurs tables à une catégorie spécifiée depuis la page My Data.

     Ajoutez des tables en lot à une catégorie depuis la page My Data (Owned by Me et Managed by Me). My Data.

• Gestion des tables : Pour les tables MaxCompute, modifiez en lot les noms d'affichage, définissez des cycles de vie, supprimez des tables de développement ou de production, ou transférez la propriété. My Data.

• Favoris : Ajoutez les tables fréquemment consultées aux Favoris. Sur la page My Data, consultez les tables favorites dans le groupe My Favorites. My Data.

  • Ajouter une table à My Favorites : Sur la page de détails de la table, cliquez sur Favorite pour ajouter la table à My Favorites. Affichage des détails d'une table. Consultez la table sur la page My Data sous le groupe My Favorites. Ajout d'une table aux favoris.

  • Supprimer une table de la liste My Favorites :

    • Sur la page My Data, accédez au groupe My Favorites et retirez les tables des favoris.

    • Sur la page de détails d'une table favorite, utilisez l'option Remove from Favorites pour la retirer.

Gestion des autorisations sur les tables

• Demander des autorisations pour opérer sur les tables

  Dans les espaces de travail en mode standard, les utilisateurs RAM ne peuvent pas exécuter de commandes SQL sur les tables de production par défaut. Pour accéder aux tables de production ou effectuer des requêtes intercomptes, cliquez sur Apply for Permissions. Cette action vous redirige vers Security Center. Demande d'autorisations sur les tables.

  Remarque

  Par défaut, les utilisateurs RAM sans autorisations de requête sur les tables ne peuvent pas utiliser la prévisualisation des données sur la page de détails de la table.

• Contrôler les autorisations de prévisualisation des données pour les tables MaxCompute

  Sur la page Manage Configurations > Manage Workspaces, activez les autorisations de prévisualisation pour les tables de développement ou de production MaxCompute dans un espace de travail spécifique. Tous les membres de l'espace de travail peuvent alors prévisualiser les tables sans demander d'accès. Manage Workspaces.

  Remarque

  • Cette opération peut exposer des données sensibles. Évaluez attentivement les risques avant de poursuivre.

  • Le propriétaire du projet ou l'administrateur de l'espace de travail peut effectuer cette opération.

  • Cette autorisation contrôle uniquement la fonctionnalité Data Preview sur la page de détails de la table dans Data Map.

• Masquer une table : Les tables masquées sont exclues des résultats de recherche. Masquez une table pour tous les utilisateurs ou restreignez sa visibilité aux membres de l'espace de travail. My Data.

  • Masquer une seule table : Sur la page My Data > Owned by Me, mettez à jour les paramètres de visibilité de la table.

    Remarque

    Par défaut, le propriétaire de la table et l'administrateur de l'espace de travail ne sont pas soumis à ces contrôles d'autorisation.

    

  • Masquage en batch au niveau du projet : Dans Manage Configurations > Manage Workspaces, sélectionnez Workspace et configurez les propriétés de masquage pour toutes les tables du projet.

    

Actualisation des métadonnées de table

Actualisez les métadonnées d'une table si elle n'apparaît pas dans les résultats de recherche ou si les modifications récentes ne sont pas reflétées.

1. Sur la page des résultats de recherche, cliquez sur Refresh Table Metadata.

2. Accédez à la page My Data > Refresh Table Metadata dans Data Map :

   

Après l'actualisation, recherchez à nouveau la table dans Data Map.