Create a one-click MaxCompute data synchronization node - DataWorks

Contexte

Vous pouvez également importer des données directement de MaxCompute vers Hologres à l'aide d'instructions SQL, une méthode qui offre généralement de meilleures performances. Pour plus d'informations, consultez la section Importer des données depuis MaxCompute à l'aide d'instructions SQL.

Prérequis

Un projet MaxCompute et une instance Hologres ont été créés.
Le projet MaxCompute et l'instance Hologres sont associés en tant que ressource de calcul DataWorks et le test de connectivité a réussi.

Créer un nœud de synchronisation des données MaxCompute en un clic

Vous avez créé un nœud de synchronisation des données MaxCompute en un clic.

Configurer le nœud de synchronisation

Accédez à la page d'édition du nœud de synchronisation des données MaxCompute en un clic pour configurer ses paramètres.

Sélectionner une table source MaxCompute

Configurez les paramètres suivants pour la table source.

Paramètre	Description
Projet	Nom du projet MaxCompute créé.
Schema	Schéma du projet MaxCompute.
Nom de la table	Nom de la table source MaxCompute.
Condition de filtrage	Le système génère automatiquement une condition de filtrage pour la table partitionnée sélectionnée. Vous pouvez ajuster cette condition selon vos besoins. Seules les données répondant à la condition de filtrage sont synchronisées. Remarque La condition de filtrage correspond au contenu qui suit la clause `WHERE` dans une instruction SQL.

Définir une table de destination Hologres

Configurez les paramètres suivants pour la table de destination.

Paramètre	Description
Instance	Instance Hologres de destination. Après avoir sélectionné une source de données Hologres dans la section Select a data source, le système identifie automatiquement l'instance spécifique. Remarque Cliquez sur Pages for Managing Destination à côté de Select a data source pour ouvrir les pages Holo console (instance monitoring), Slow Query, Active connection management, DB authorization et User Management.
Base de données	Base de données de l'instance Hologres de destination.
Schema	`schema` de l'instance Hologres de destination.
Nom de la table	Nom de la table interne dans Hologres. Si une table portant le même nom existe déjà, les règles suivantes s'appliquent : Si la nouvelle table est une table non partitionnée : après l'exécution de la tâche, le système supprime la table existante et ses données, puis crée une nouvelle table. Si la nouvelle table est une table partitionnée : la tâche ne supprime ni la table existante ni ses données. Elle crée plutôt une nouvelle sous-table de partition basée sur la valeur de partition et y insère les données. Remarque Si le schéma de la nouvelle table diffère de celui de la table existante, la tâche échoue.
Champ de synchronisation	Sélectionnez les champs à synchroniser.
Configuration de la partition	Sélectionnez les partitions de la table MaxCompute à synchroniser. Remarque Hologres prend actuellement en charge la synchronisation des données uniquement depuis les partitions de premier niveau. Si une table MaxCompute comporte plusieurs niveaux de partition, le système les mappe à un seul niveau de partition dans Hologres et convertit automatiquement les champs de partition supplémentaires en champs standards.
Configuration de l'index	Créez des index sur la table interne Hologres pour accélérer les requêtes sur les données synchronisées. Pour plus d'informations sur la création d'un index, consultez la section CREATE TABLE.

Configurer davantage de paramètres

Paramètre	Description
Paramètre GUC	Paramètres GUC à définir avant d'importer des données depuis MaxCompute. Pour obtenir la liste des paramètres GUC pris en charge, consultez la section Paramètres GUC. Les autres instructions SQL ne sont pas prises en charge.
Serveur externe	La valeur par défaut est `odps_server`.
SQL script	Le script SQL généré est en lecture seule. Si vous mettez à jour la configuration du nœud, actualisez le script pour générer l'instruction SQL mise à jour. En fonction de votre configuration, DataWorks génère automatiquement l'instruction SQL pour la tâche de synchronisation. Vous pouvez utiliser cette instruction dans l'éditeur de code Hologres pour exécuter la tâche. Remarque Pour plus d'informations sur l'exécution d'une tâche de synchronisation à l'aide de SQL, consultez la section Importer des données depuis MaxCompute à l'aide d'instructions SQL.

Tester le nœud de synchronisation

Pour tester le nœud de synchronisation, configurez les paramètres de test en fonction de vos besoins métier.

Configurez les paramètres de débogage du nœud.

Dans la section Run Configuration située à droite de l'éditeur, configurez les options Compute Resource et Resource Group. Le tableau suivant décrit ces paramètres.

Paramètre	Description
Compute Resource	Sélectionnez la ressource de calcul Hologres associée.
Resource Group	Sélectionnez le groupe de ressources qui a réussi le test de connectivité lors de l'association de la ressource de calcul Hologres.
CUs for Scheduling	Ce nœud utilise la valeur CU par défaut. Aucune modification n'est nécessaire.
Paramètre de script	Si vous définissez une variable dans la condition de filtrage en utilisant le format ${Nom du paramètre}, spécifiez le Parameter name et la Parameter Value dans la section Script Parameters. Lors de l'exécution de la tâche, le système remplace la variable par sa valeur spécifiée. Pour plus d'informations, consultez la section Configuration de la planification des nœuds.

Pour tester le nœud, cliquez sur Save puis sur Run pour démarrer la tâche de synchronisation.

Étapes suivantes

Configuration de la planification des nœuds : si le nœud doit s'exécuter périodiquement, configurez sa Scheduling Policy dans le volet Scheduling Settings situé à droite de l'éditeur.
Publication des nœuds : pour publier une tâche dans l'environnement de production, cliquez sur l'icône pour lancer le processus de publication. Les nœuds du répertoire du projet ne sont planifiés périodiquement qu'après leur publication dans l'environnement de production.
Une fois les données synchronisées depuis MaxCompute, utilisez HoloWeb pour interroger les données de la table Hologres. Pour plus d'informations, consultez la section HoloWeb.

FAQ

Message d'erreur : get table columns occurs Invalid name:xxx.
Solution : vérifiez que le nom du projet source est correct et ne contient pas d'espaces ou d'autres caractères invalides.