Les nœuds de synchronisation de données de DataWorks vous permettent de synchroniser les données d'une table MaxCompute unique vers Hologres pour une analyse efficace des mégadonnées et des requêtes en temps réel. Cette rubrique décrit le processus de configuration afin de vous aider à migrer facilement vos données et à tirer parti des performances élevées de Hologres pour vos requêtes.
Informations générales
Cette fonctionnalité importe d'abord les données d'une table interne MaxCompute dans une table externe Hologres, puis synchronise ces données vers une table interne Hologres. La synchronisation des données de MaxCompute vers la table externe Hologres s'effectue en exécutant la commande IMPORT FOREIGN SCHEMA.
Prérequis
Vous avez créé un projet MaxCompute et une instance Hologres.
Vous avez lié le projet MaxCompute et l'instance Hologres à DataWorks en tant que ressources de calcul et réussi le test de connectivité.
Limites
La table source MaxCompute doit exister avant la création d'une table externe pour lire ses données.
Créer un nœud de synchronisation de données
Avant de configurer un nœud de synchronisation de données, créez un nœud de synchronisation de données pour Hologres et accédez à sa page de configuration.
Gérer la source de données de destination
Sur la page de configuration du nœud, gérez la source de données de destination en suivant les étapes ci-dessous.
Sur la page de configuration du nœud, sélectionnez la source de données Hologres de destination liée dans la liste déroulante située à côté de Data Sources.
-
Cliquez sur Pages for Managing Destination. Dans la boîte de dialogue qui s'affiche, sélectionnez l'opération requise :
HoloWeb (Instance Monitoring) : gérez l'instance Hologres de destination dans HoloWeb.
Slow Query : consultez et analysez les requêtes lentes historiques de l'instance Hologres de destination.
Active Connection Management : diagnostiquez et gérez les connexions à l'instance Hologres de destination.
Database Authorization : ajoutez une base de données à l'instance Hologres de destination ou accordez des autorisations sur la base de données.
User management : dans le module User management de HoloWeb, ajoutez ou supprimez des utilisateurs pour l'instance Hologres de destination et accordez-leur des autorisations.
Configurer le nœud de synchronisation de données
Après avoir sélectionné la source de données de destination, suivez les étapes ci-dessous sur la page de configuration du nœud pour configurer la tâche de synchronisation.
Sélectionner la table source MaxCompute
Utilisez les paramètres suivants pour sélectionner la table source MaxCompute.
|
Parameter |
Description |
|
Source Object Type |
La valeur par défaut est |
|
Project |
Sélectionnez le projet MaxCompute à synchroniser. |
|
Schema |
Sélectionnez le schéma à utiliser. |
|
Table Name |
Sélectionnez la table à synchroniser. |
|
Filtration conditions |
Le système génère une condition de filtre pour les tables partitionnées. Vous pouvez modifier cette condition selon vos besoins. Seules les données répondant à la condition sont synchronisées. Remarque
La condition de filtre correspond au contenu qui suit la clause |
Configurer la table de destination Hologres
Utilisez les paramètres suivants pour configurer la table de destination Hologres.
|
Parameter |
Description |
|
|
Instance |
Le système remplit automatiquement ce champ en fonction de la source de données sélectionnée. |
|
|
Database |
Le système remplit automatiquement ce champ en fonction de la source de données sélectionnée. |
|
|
Schema |
Spécifiez le schéma de la table interne Hologres. |
|
|
Table Name |
Spécifiez un nom pour la table interne Hologres. Si une table portant le nom spécifié existe déjà, elle est traitée comme suit :
Remarque
Une erreur se produit si les schémas de la nouvelle table et de la table existante diffèrent. |
|
|
Field |
Synchronization Field |
Sélectionnez les champs à synchroniser et définissez les types de données pour les champs dans la table de destination Hologres. |
|
Partition Configurations |
Sélectionnez les champs de clé de partition pour la nouvelle table. |
|
|
Index Configuration |
Créez des index sur la table interne Hologres pour accélérer les requêtes de données. Pour plus d'informations sur la création d'un index, consultez CREATE TABLE.
|
|
Configurer les paramètres avancés
Lors de la synchronisation des données, configurez les paramètres GUC et le serveur externe dans la section Advanced Settings.
|
Parameter |
Description |
|
GUC Parameters |
Avant d'importer des données depuis MaxCompute, vous devez définir certains paramètres GUC. Pour plus d'informations sur les paramètres GUC pris en charge, consultez GUC parameters. Les autres instructions SQL ne sont pas prises en charge. |
|
External Server |
La valeur par défaut est |
Déboguer le nœud de synchronisation de données
Pour déboguer une tâche de nœud de synchronisation, configurez les informations de débogage appropriées en fonction de vos besoins métier.
-
Configurez les propriétés du nœud pour le débogage.
Dans le volet Run Configuration situé à droite de la page de configuration du nœud, configurez les informations relatives à Compute Resource et à Resource Group. Le tableau suivant décrit les paramètres.
Parameter
Description
Compute Resource
Sélectionnez la ressource de calcul Hologres que vous avez liée.
Resource Group
Sélectionnez le groupe de ressources qui a réussi le test de connectivité lors de la liaison de la ressource de calcul Hologres.
CUs for Scheduling
Définissez le nombre d'unités de calcul (CU) requises pour la tâche. La valeur par défaut est
0.25.Parameters
Si vous définissez des variables en utilisant le format
${ParameterName}dans la condition de filtre, vous devez spécifier les Script Parameters et le Parameter name dans la section Parameter Value. Lors de l'exécution, les variables sont remplacées dynamiquement par leurs valeurs réelles. Pour plus d'informations, consultez node scheduling configuration. Pour déboguer et exécuter le nœud, cliquez sur Save puis sur Run.
Étapes suivantes
node scheduling configuration : si un nœud nécessite une planification périodique, définissez la Scheduling Policy dans le volet Scheduling Settings à droite et configurez les propriétés de planification.
node deployment : si la tâche doit être déployée dans l'environnement de production, cliquez sur l'icône
pour lancer le processus de déploiement. Les nœuds ne sont exécutés périodiquement qu'après leur déploiement dans l'environnement de production.
FAQ
Incompatibilité de type de champ : une incompatibilité de type de données lors de la configuration entraîne l'échec de la tâche de synchronisation. Assurez-vous que la configuration des types de champs de la table Hologres est correcte.
Les données d'une seule partition synchronisée sont incohérentes avec les données réelles : vérifiez si les conditions de filtre que vous avez configurées à la source sont correctes.