DataWorks:Mapper les métadonnées Hologres vers des tables externes MaxCompute

Contexte

MaxCompute vous permet d'interroger et d'analyser les données de systèmes externes tels que Hologres en utilisant des tables externes. Grâce à un pilote JDBC PostgreSQL et à l'autorisation via un rôle RAM, vous pouvez interroger directement les données externes sans les importer dans MaxCompute.

DataWorks simplifie ce processus grâce au mappage des métadonnées, qui s'appuie sur les fonctionnalités MaxCompute suivantes :

• Mappage des métadonnées au niveau du schéma : utilise la fonctionnalité de schéma externe de MaxCompute.

• Mappage des métadonnées au niveau de la table : utilise la fonctionnalité de table externe de MaxCompute.

Prérequis

• Un projet MaxCompute et une instance Hologres ont été créés.

• L'instance Hologres a été ajoutée au catalogue de données.

• Le mappage des métadonnées au niveau du schéma nécessite une source de données externe MaxCompute. Vous devez créer une source de données externe de type Hologres dans MaxCompute.

  Important

  Lorsque vous créez une source de données externe MaxCompute :

  • Pour Host, saisissez l'adresse du réseau classique. Les adresses VPC ne sont pas prises en charge.

  • Pour Authentication Method, seule la méthode RAM role est prise en charge. La méthode ExecuteWithUserAuth n'est pas prise en charge.

Contrôle d'accès

DataWorks détermine l'identité d'accès en fonction de la source du projet MaxCompute et vérifie les autorisations en conséquence.

Limites

• Seules les données des bases de données internes Hologres peuvent être mappées vers MaxCompute.

• Pour connaître les limites liées à l'utilisation des tables externes Hologres dans MaxCompute, consultez la rubrique Tables externes Hologres.

• MaxCompute et Hologres utilisent des types de données différents. Certains types Hologres ne peuvent pas être mappés et sont automatiquement ignorés lors du processus de mappage. Consultez attentivement la rubrique Mappage des types de données entre MaxCompute et Hologres.

Point d'entrée

1. Accédez à la page Workspaces de la console DataWorks. Dans la barre de navigation supérieure, sélectionnez la région souhaitée. Localisez l'espace de travail souhaité et choisissez Shortcuts > Data Studio dans la colonne Actions.

2. Dans le volet de navigation de gauche, cliquez sur pour accéder à Data Directory.

3. Dans le répertoire Hologres, localisez le schéma ou la table dont vous souhaitez mapper les métadonnées vers MaxCompute, cliquez dessus avec le bouton droit de la souris et sélectionnez Map Metadata to MaxCompute.

Mappage des métadonnées au niveau du schéma

Cette fonctionnalité mappe les métadonnées d'un schéma Hologres vers un schéma externe dans MaxCompute. Avant de commencer, nous vous recommandons de consulter le Guide d'utilisation Data Lakehouse 2.0 pour en savoir plus sur les sources de données externes et les schémas externes MaxCompute.

Mappage des métadonnées au niveau de la table

Cette fonctionnalité mappe une table Hologres spécifique vers une table spécifique dans MaxCompute en tant que table externe. Vous pouvez spécifier le chemin d'accès et un nom personnalisé pour la table externe.

1. Accédez à la page de configuration du mappage des métadonnées.

2. Dans le projet Hologres, localisez la table Hologres dont vous souhaitez mapper les métadonnées vers MaxCompute. Cliquez avec le bouton droit de la souris sur le nom de la table et sélectionnez Map Metadata to MaxCompute. La page de configuration du mappage des métadonnées s'affiche.

3. Configurez les paramètres pour le mappage des métadonnées au niveau de la table.

   • Hologres (source)

     Paramètre	Description
     Source Object Type	Le type d'objet source pour le mappage au niveau de la table. La valeur par défaut est Hologres Table.
     Source Object Name	La table Hologres source à mapper. Ce paramètre est fixé à la table Hologres actuellement sélectionnée.

   • MaxCompute (destination)

     Paramètre	Description
     Instance search method	Sélectionnez la méthode de recherche du projet MaxCompute. From DataWorks data source : sélectionnez le projet MaxCompute correspondant en choisissant la source de données MaxCompute liée à l'espace de travail actuel. Vous devez également choisir une Data Sources et spécifier un nom pour la External Table afin d'identifier la table externe dans le projet MaxCompute cible. Assurez-vous que l'identité d'accès spécifiée pour la source de données dispose des autorisations de lecture et d'écriture sur la table Hologres source et le projet MaxCompute cible. Remarque Seuls les utilisateurs disposant du rôle O&M ou Workspace Administrator peuvent sélectionner des sources de données de production. I have permission : sélectionnez le projet MaxCompute cible parmi les projets auxquels vous avez accès sous votre compte principal Alibaba Cloud actuel. Après avoir sélectionné cette option, vous devez également définir le nom de la External Table pour spécifier la table externe cible. Assurez-vous de disposer des autorisations de lecture et d'écriture sur la table Hologres source et le projet MaxCompute cible.
     Data Sources	Lorsque Project Find Method est défini sur From DataWorks data source, vous devez sélectionner manuellement la source de données MaxCompute de destination.
     Project Name	Lorsque Project Find Method est défini sur I have permission, vous devez sélectionner manuellement le projet MaxCompute cible.
     Schema	Spécifiez le nom du schéma externe dans le projet MaxCompute cible vers lequel les métadonnées du schéma Hologres source sont mappées.
     External Table	Spécifiez le nom de la nouvelle table externe à créer sous le schéma du projet MaxCompute spécifié. Les données de la table source sont mappées vers cette table. Par défaut, le nom est identique à celui de la table Hologres. Remarque La création d'une table externe est une action ponctuelle. Les métadonnées ne sont pas actualisées automatiquement. Pour actualiser les métadonnées, vous devez supprimer la table externe actuelle et recréer manuellement le mappage des métadonnées.
     MaxCompute foreign table permissions	La méthode d'authentification et d'autorisation pour la table externe MaxCompute après le mappage des métadonnées Hologres. Dual-signature : RamRole : utilise le mode STS pour l'authentification et l'autorisation.
     RoleARN	Lorsque MaxCompute foreign table permissions est défini sur RAM Role, vous devez configurer ce paramètre. Vous devez créer un rôle RAM et saisir son ARN ici. Pour plus d'informations sur les autorisations requises pour le rôle RAM, consultez la rubrique Tables externes Hologres.
     Location	L'adresse de mappage entre la table Hologres et la table MaxCompute. Elle est générée automatiquement et ne peut pas être modifiée.
     Lifecycle	Définissez le cycle de vie pour la table externe cible.
     Field	Configurez les MaxCompute fields et le MaxCompute data type dans la table externe cible selon vos besoins. Remarque MaxCompute et Hologres utilisent des types de données différents et certains types ne peuvent pas être mappés. Pour plus de détails, consultez la rubrique Mappage des types de données entre MaxCompute et Hologres.

4. Cliquez sur le bouton Run situé en haut pour terminer le mappage des données Hologres au niveau de la table.

Étapes suivantes

• Sous Data Directory > MaxCompute, vous pouvez afficher les schémas externes ou les tables externes mappés sous un schéma spécifié.

• Vous pouvez interroger les données d'une table étrangère Hologres dans un nœud DataStudio > MaxCompute SQL.