DataWorks:Mapper les métadonnées MaxCompute vers des tables étrangères Hologres

Contexte

Les tables étrangères et les bases de données externes de Hologres accélèrent les requêtes sur des sources de données externes telles que MaxCompute, sans nécessiter d'importation des données.

La fonctionnalité de mappage des métadonnées de DataWorks s'appuie sur les capacités des tables étrangères de Hologres pour mapper les données MaxCompute vers Hologres, ce qui permet d'accélérer les requêtes.

DataWorks fournit une interface visuelle pour mapper les métadonnées MaxCompute vers Hologres aux niveaux du projet, du schéma et de la table :

• Mappage des métadonnées au niveau du projet : utilise la fonctionnalité de base de données externe de Hologres CREATE EXTERNAL DATABASE.

• Mappage des métadonnées au niveau du schéma : utilise la fonctionnalité Auto Load de Hologres pour les tables étrangères.

• Mappage des métadonnées au niveau de la table : utilise la fonctionnalité de table étrangère de Hologres CREATE FOREIGN TABLE.

Pour plus d'informations sur l'accélération des requêtes MaxCompute avec Hologres, consultez la rubrique Accélérer les requêtes sur les données MaxCompute.

Limites

• Cette fonctionnalité est prise en charge uniquement pour les projets internes dans MaxCompute.

• Cette fonctionnalité est prise en charge uniquement dans Hologres V3.0.7 et versions ultérieures.

• Vous ne pouvez mapper les métadonnées MaxCompute que vers une instance exclusive Hologres.

Remarque

Les types de données dans MaxCompute et Hologres diffèrent et certains types ne peuvent pas être mappés. Avant d'utiliser cette fonctionnalité, examinez attentivement la section Mappages des types de données entre MaxCompute et Hologres et vérifiez que les résultats répondent à vos exigences métier.

Accès

Cette rubrique décrit comment créer un mappage de métadonnées à partir de Data Directory. Pour créer et planifier un mappage périodique dans le cadre d'un flux de travail de développement, utilisez un nœud Metadata Mapping to Hologres dans Data Studio.

1. Accédez à la page Workspaces dans la console DataWorks. Dans la barre de navigation supérieure, sélectionnez la région souhaitée. Recherchez l'espace de travail cible et choisissez Shortcuts > Data Studio dans la colonne Actions.

2. Dans le volet de navigation de gauche, cliquez sur pour accéder à Data Directory.

3. Dans le répertoire MaxCompute, recherchez le projet, le schéma ou la table MaxCompute dont vous souhaitez mapper les métadonnées vers Hologres. Cliquez avec le bouton droit sur l'objet et sélectionnez Map Metadata to Hologres.

Mappage des métadonnées au niveau du projet

Le mappage au niveau du projet crée une base de données externe dans l'instance Hologres spécifiée, portant le même nom que le projet MaxCompute, et mappe toutes les métadonnées du projet via des tables étrangères.

1. Dans le répertoire MaxCompute, recherchez le projet MaxCompute dont vous souhaitez mapper les métadonnées vers Hologres. Cliquez sur > Map Metadata to Hologres pour ouvrir la page de configuration du mappage des métadonnées.

2. Configurez les paramètres pour le mappage des métadonnées au niveau du projet.

   • Source

     Parameter	Description
     Source Object Type	Confirmez le type d'objet dont vous souhaitez mapper les métadonnées vers Hologres. La valeur est fixée à MaxCompute Project.
     Source Object Name	Confirmez le projet MaxCompute dont vous souhaitez mapper les métadonnées vers Hologres. La valeur est fixée au projet MaxCompute actuel.

   • Destination Hologres

     Parameter	Description
     Instance search method	Sélectionnez la méthode de recherche de l'instance Hologres. From DataWorks data source : sélectionnez l'instance Hologres en choisissant une source de données Hologres associée à l'espace de travail actuel. Après avoir sélectionné cette option, sélectionnez également une valeur pour Data Sources afin de spécifier l'instance Hologres de destination. Assurez-vous que l'identité d'accès spécifiée dans la source de données dispose des autorisations SuperUser sur Hologres et des autorisations de lecture/écriture sur les tables MaxCompute source. Remarque Seuls les utilisateurs disposant du rôle d'opérateur ou d'administrateur d'espace de travail peuvent sélectionner une source de données de production. I have permission : sélectionnez l'instance Hologres de destination parmi les instances auxquelles vous avez accès sous le compte Alibaba Cloud actuel. Après avoir sélectionné cette option, sélectionnez également une valeur pour Hologres Instance. Assurez-vous de disposer des autorisations SuperUser sur Hologres et des autorisations de lecture/écriture sur les tables MaxCompute source. Remarque Cette fonctionnalité est prise en charge uniquement dans Hologres V3.0.7 et versions ultérieures. Vous ne pouvez mapper les métadonnées MaxCompute que vers une instance exclusive Hologres.
     External Database	Définissez le nom de la nouvelle base de données externe à créer dans l'instance exclusive Hologres spécifiée. Les métadonnées source sont mappées vers la destination en temps réel. Si vous n'avez plus besoin du mappage, supprimez la base de données externe spécifiée sur la destination.

3. Cliquez sur le bouton Run en haut de la page. Le système utilise la fonctionnalité de base de données externe de Hologres CREATE EXTERNAL DATABASE pour effectuer le mappage des métadonnées au niveau du projet.

Mappage des métadonnées au niveau du schéma

Le mappage au niveau du schéma mappe les métadonnées d'un schéma MaxCompute vers Hologres via des tables étrangères.

La hiérarchie des schémas n'est affichée dans Data Catalog qu'après l'activation de la fonctionnalité Schema pour MaxCompute. Pour plus d'informations, consultez la rubrique Activer la fonctionnalité Schema pour MaxCompute.

1. Sous le projet MaxCompute, recherchez le schéma dont vous souhaitez mapper les données vers Hologres. Cliquez sur > Map Metadata to Hologres pour ouvrir la page de configuration du mappage des métadonnées.

2. Configurez les paramètres pour le mappage des métadonnées au niveau du schéma.

   • Source

     Parameter	Description
     Source Object Type	Confirmez le type d'objet dont vous souhaitez mapper les métadonnées vers Hologres. La valeur est fixée à MaxCompute Schema.
     Source Object Name	Confirmez le schéma MaxCompute dont vous souhaitez mapper les métadonnées vers Hologres. La valeur est fixée au schéma actuellement sélectionné.

   • Destination Hologres

     Parameter	Description
     Instance search method	Sélectionnez la méthode de recherche de l'instance Hologres. From DataWorks data source : sélectionnez l'instance Hologres en choisissant une source de données Hologres associée à l'espace de travail actuel. Après avoir sélectionné cette option, sélectionnez également des valeurs pour Data Sources et Schema afin de spécifier le schéma de destination dans l'instance Hologres. Assurez-vous que l'identité d'accès spécifiée dans la source de données dispose des autorisations de lecture/écriture sur les tables MaxCompute source et sur l'instance Hologres de destination. Remarque Seuls les utilisateurs disposant du rôle d'opérateur ou d'administrateur d'espace de travail peuvent sélectionner une source de données de production. I have permission : sélectionnez l'instance Hologres de destination parmi les instances auxquelles vous avez accès sous le compte Alibaba Cloud actuel. Après avoir sélectionné cette option, sélectionnez également des valeurs pour Hologres Instance, Database et Schema afin de spécifier le schéma de destination. Assurez-vous de disposer des autorisations de lecture/écriture sur les tables MaxCompute source et sur l'instance Hologres de destination. Remarque Cette fonctionnalité est prise en charge uniquement dans Hologres V3.0.7 et versions ultérieures. Vous ne pouvez mapper les métadonnées MaxCompute que vers une instance exclusive Hologres.
     Database	Sélectionnez une base de données existante dans l'instance Hologres.
     Schema	Définissez le nom du nouveau schéma à créer dans l'instance exclusive Hologres spécifiée. Les données du schéma source seront mappées vers ce schéma. Remarque La création d'un schéma est une action ponctuelle. Les métadonnées ne sont pas actualisées automatiquement. Pour actualiser les métadonnées, supprimez le schéma actuel et recréez manuellement le mappage des métadonnées au niveau du schéma.

3. Cliquez sur le bouton Run en haut de la page. Le système utilise la fonctionnalité Auto Load de Hologres pour les tables étrangères afin d'effectuer le mappage des métadonnées au niveau du schéma.

Mappage des métadonnées au niveau de la table

Le mappage au niveau de la table mappe une table MaxCompute spécifiée vers une table étrangère Hologres désignée. Vous pouvez spécifier le chemin de la table étrangère et personnaliser le nom de la table.

1. Sous le projet MaxCompute, recherchez la table MaxCompute dont vous souhaitez mapper les métadonnées vers Hologres. Cliquez avec le bouton droit sur le nom de la table et sélectionnez Map Metadata to Hologres pour ouvrir la page de configuration du mappage des métadonnées.

2. Configurez les paramètres pour le mappage des métadonnées au niveau de la table.

   • Source

     Parameter	Description
     Source Object Type	Confirmez le type d'objet dont vous souhaitez mapper les métadonnées vers Hologres. La valeur par défaut est MaxCompute Table.
     Source Object Name	Confirmez la table MaxCompute dont vous souhaitez mapper les métadonnées vers Hologres. La valeur est fixée à la table MaxCompute actuellement sélectionnée.

   • Destination Hologres

     Parameter	Description
     Instance search method	Sélectionnez la méthode de recherche de l'instance Hologres. From DataWorks data source : sélectionnez l'instance Hologres en choisissant une source de données Hologres associée à l'espace de travail actuel. Après avoir sélectionné cette option, sélectionnez également des valeurs pour Data Sources, Schema et External Table afin de spécifier la table étrangère de destination dans l'instance Hologres. Assurez-vous que l'identité d'accès spécifiée dans la source de données dispose des autorisations de lecture/écriture sur les tables MaxCompute source et sur l'instance Hologres de destination. Remarque Seuls les utilisateurs disposant du rôle d'opérateur ou d'administrateur d'espace de travail peuvent sélectionner une source de données de production. I have permission : sélectionnez l'instance Hologres de destination parmi les instances auxquelles vous avez accès sous le compte Alibaba Cloud actuel. Après avoir sélectionné cette option, sélectionnez également des valeurs pour Hologres Instance, Database, Schema et External Table afin de spécifier la table étrangère de destination. Assurez-vous de disposer des autorisations de lecture/écriture sur les tables MaxCompute source et sur l'instance Hologres de destination. Remarque Cette fonctionnalité est prise en charge uniquement dans Hologres V3.0.7 et versions ultérieures. Vous ne pouvez mapper les métadonnées MaxCompute que vers une instance exclusive Hologres.
     Database	Sélectionnez une base de données existante dans l'instance Hologres.
     Schema	Sélectionnez un schéma existant sous la base de données correspondante dans l'instance Hologres.
     External Table	Définissez le nom de la nouvelle table étrangère à créer sous le schéma dans la base de données spécifiée de l'instance exclusive Hologres. Les données de la table source seront mappées vers cette table. Remarque La création d'une table étrangère est une action ponctuelle. Les métadonnées ne sont pas actualisées automatiquement. Pour actualiser les métadonnées, supprimez la table étrangère actuelle et recréez manuellement le mappage des métadonnées.
     Field	Configurez les champs de mappage (Mapping Fields) et les configurations de partition (Partition Configurations) pour la table étrangère de destination selon vos besoins.
     Action for Table Name Conflicts	Sélectionnez la politique de résolution des conflits lorsqu'une table portant le même nom existe déjà : Skip : ne pas recréer la table. Overwrite : supprimer la table existante et en créer une nouvelle. Throw error

3. Cliquez sur le bouton Run en haut de la page. Le système utilise la fonctionnalité de table étrangère de Hologres CREATE FOREIGN TABLE pour effectuer le mappage des métadonnées au niveau de la table.

Étapes suivantes

• Consultez les tables étrangères créées sous Data Directory > Hologres.

• Utilisez les tables étrangères pour accélérer les requêtes sur les données MaxCompute dans un nœud DataStudio > Hologres SQL.

Si vous souhaitez synchroniser directement les données MaxCompute vers Hologres, consultez la rubrique Synchroniser les données MaxCompute vers Hologres.