DataWorks:Collecte de métadonnées

Crawler MaxCompute par défaut

Ce crawler collecte les métadonnées des projets MaxCompute associés à votre compte. Vous pouvez accéder à la page des détails, cliquer sur Modify Data Scope pour sélectionner les projets à collecter, puis cliquer sur Permission Configurations pour configurer la visibilité des métadonnées au sein du tenant.

1. Dans la section Built-in de la page de collecte de métadonnées, repérez la carte MaxCompute Default Crawler et cliquez sur Details.

2. La page des détails du MaxCompute Default Crawler contient deux onglets : Basic Information et Data Scope.

   • Basic Information : affiche les propriétés de base du crawler, telles que le type et la méthode de collecte. Ces informations sont en lecture seule.

   • Data Scope : gère les projets MaxCompute à partir desquels ce crawler collecte les métadonnées.

3. Modifier le périmètre de collecte :

   1. Basculez vers l'onglet Data Scope et cliquez sur le bouton Modify Data Scope.

   2. Dans la boîte de dialogue qui s'affiche, sélectionnez ou désélectionnez les projets MaxCompute dont vous souhaitez collecter les métadonnées.

      Important

      Par défaut, le périmètre inclut tous les projets MaxCompute associés aux espaces de travail de la région actuelle sous votre tenant. Après modification du périmètre de données, les objets de métadonnées collectés dans Data Map correspondent au périmètre actuel. Les métadonnées des projets désélectionnés ne sont plus visibles.

   3. Cliquez sur OK pour enregistrer les modifications.

4. Configurer la visibilité des métadonnées :

   • Dans la liste Data Scope, repérez le projet cible et cliquez sur Permission Configurations dans la colonne Actions.

   • Sélectionnez une politique de visibilité selon vos exigences de gouvernance des données :

     • Public Within Tenant : tous les membres du tenant peuvent rechercher et afficher les métadonnées de ce projet.

     • Only members in the associated workspace can search and view. : seuls les membres d'espaces de travail spécifiques peuvent accéder aux métadonnées de ce projet, garantissant ainsi l'isolation des données.

Crawler DLF par défaut

Le DLF Default Crawler collecte les métadonnées de Data Lake Formation (DLF) associées à votre compte.

1. Dans la section Built-in de la page de collecte de métadonnées, repérez la carte DLF Default Crawler et cliquez sur Details pour afficher les informations de base.

2. Basculez vers l'onglet Data Scope pour afficher la liste des catalogues DLF inclus dans le périmètre de collecte ainsi que le nombre de tables qu'ils contiennent.

   Par défaut, tous les catalogues accessibles (y compris DLF et DLF-Legacy) sont collectés.

Create Custom Crawler

1. Dans la section de liste des crawlers personnalisés sur la page de collecte de métadonnées, cliquez sur Create Metadata Crawler.

2. Sélectionner un type de collecte : sur la page de sélection du type, choisissez le type de source de données cible à collecter, par exemple Hologres ou StarRocks.

3. Configurer les paramètres de base et le groupe de ressources :

   • Basic Configurations :

     • Select a workspace : sélectionnez l'espace de travail contenant la source de données.

     • Select Data Source : sélectionnez une source de données cible précédemment créée dans la liste déroulante. Après votre sélection, le système affiche automatiquement les détails de la source de données.

     • Name : nommez le crawler pour faciliter son identification ultérieure. Par défaut, le nom correspond à celui de la source de données.

   • Resource Group Configuration :

     • Resource Group : sélectionnez un groupe de ressources Serverless pour exécuter la tâche de collecte.

     • Test Network Connectivity : cette étape est cruciale. Cliquez sur Test Network Connectivity pour vous assurer que le groupe de ressources peut accéder à la source de données.

       Important

       • Vérifiez si la source de données comporte des restrictions de liste d'autorisation. Si vous devez collecter des métadonnées depuis une source de données protégée par liste d'autorisation, consultez les sections Ajouter les adresses IP du groupe de ressources à la liste d'autorisation et Configurer une liste d'autorisation pour une source de données afin de configurer les autorisations de liste d'autorisation.

       • Si la source de données ne comporte pas de restrictions de liste d'autorisation, consultez la section Configurer la connectivité réseau pour une source de données pour établir la connectivité réseau avec la source de données.

       • Si le test de connectivité renvoie l'erreur Backend service call failed: test connectivity failed.not support data type, contactez le support technique pour mettre à niveau le groupe de ressources.

4. Configurer la collecte de métadonnées :

   • Collection Scope : définissez les bases de données (database/schema) à collecter. Si la source de données est au niveau de la base de données, la base de données correspondant à la source est sélectionnée par défaut. Vous pouvez sélectionner des bases de données supplémentaires au-delà de la source de données.

     Important

     • Chaque base de données ne peut être configurée que dans un seul crawler. Si une base de données est grisée, cela signifie qu'elle est déjà collectée par un autre crawler.

     • Après réduction du périmètre de collecte, les métadonnées situées en dehors de ce périmètre ne sont plus recherchables dans Data Map.

5. Configurer l'amélioration intelligente et le plan de collecte :

   • Amélioration intelligente (Beta) :

     • Descriptions générées par IA : lorsqu'elle est activée, cette fonctionnalité utilise les capacités des grands modèles de langage pour générer automatiquement des descriptions métier pour vos tables et colonnes après la collecte des métadonnées, améliorant considérablement la lisibilité et l'utilisabilité des métadonnées. Une fois la collecte terminée, vous pouvez consulter les informations générées par l'IA (telles que les descriptions de tables et de colonnes) sur la page des détails d'un objet table dans Data Map.

   • Collection Plan :

     • Trigger Mode : sélectionnez le mode manuel ou périodique.

       • Manuel : le crawler s'exécute uniquement lorsque vous le déclenchez manuellement. Ce mode convient aux collectes ponctuelles ou à la demande.

       • Périodique : configurez une tâche planifiée (par exemple mensuelle, quotidienne, hebdomadaire ou horaire) et le système mettra automatiquement à jour les métadonnées de manière périodique.

         Pour configurer une tâche planifiée à la minute, sélectionnez le cycle de collecte horaire et choisissez toutes les granularités en minutes pour mettre en place une tâche s'exécutant toutes les 5 minutes.

         Important

         Seules les sources de données de l'environnement de production prennent en charge la collecte périodique.

6. Enregistrer la configuration : cliquez sur Save ou Save and Run pour finaliser la création du crawler.

Gérer les crawlers personnalisés

Une fois un crawler créé, il apparaît dans la liste des crawlers personnalisés. Vous pouvez effectuer les opérations de gestion suivantes :

• Opérations de liste : dans la liste, vous pouvez directement Run, Stop ou Delete un crawler. Utilisez les fonctionnalités Filter et Search en haut de la page pour localiser rapidement le crawler cible.

  Important

  Après suppression d'un crawler de métadonnées, les objets de métadonnées collectés par ce crawler dans Data Map deviennent invalides. Vous ne pourrez plus rechercher ni afficher ces objets ni leurs détails. Procédez avec prudence.

• Opérations groupées : sélectionnez plusieurs crawlers dans la liste et utilisez Batch Run ou Batch Stop en bas de la liste pour déclencher ou arrêter plusieurs tâches de collecte simultanément, améliorant ainsi l'efficacité de gestion.

• Statut du crawler : la liste des crawlers affiche le statut actuel de chacun d'eux. Les statuts courants incluent Not Run, Waiting, Running, Successful, Failed et Manually Terminated.

  Remarque

  Si la source de données associée à un crawler a été dissociée ou devient invalide, le crawler passe à l'état frozen. Un crawler gelé ne peut pas être exécuté et ne peut être que supprimé.

• Afficher les détails et les journaux : cliquez sur le nom du crawler cible pour accéder à sa page de détails.

  • Basic Information : affichez tous les éléments de configuration du crawler.

  • Data Scope : affichez ou Modify Data Scope.

    Si aucune collecte n'a été effectuée, le nombre de tables et l'heure de la dernière mise à jour restent vides.

    Les sources de données suivantes ne prennent pas en charge la modification du périmètre : EMR Hive, CDH Hive, Lindorm, ElasticSearch, OTS, MongoDB et AnalyticDB for Spark dans AnalyticDB MySQL.

  • Run Logs : suivez l'historique d'exécution de chaque tâche de collecte. Vous pouvez consulter l'heure de début, la durée, le statut et le volume de données collectées pour chaque tâche. En cas d'échec d'une tâche, cliquer sur View Logs constitue le point d'entrée principal pour identifier et résoudre les problèmes.

• Déclencher manuellement la collecte : dans le coin supérieur droit de la page de détails, cliquez sur le bouton Collect Metadata pour déclencher immédiatement une tâche de collecte. Cette option est utile lorsque vous souhaitez voir une table nouvellement créée dans Data Map sans délai.

Source de données

Code de tâche

Data Map prend en charge la recherche de code de tâche et la navigation rapide. La section suivante décrit le périmètre du code searchable.

Actifs API

Data Map permet d'afficher les métadonnées des API Data Service, comme décrit ci-dessous :

Actifs IA

Data Map permet d'afficher et de gérer les actifs IA, et fournit une lignée des actifs IA pour suivre l'origine, l'utilisation et l'évolution des données et des modèles. La section suivante décrit la prise en charge de chaque type d'actif IA.

Workspace

Data Map permet d'afficher les métadonnées de l'espace de travail, comme décrit ci-dessous :