Utilisez un nœud de synchronisation DataWorks pour migrer les données d'une table Hologres unique vers MaxCompute, afin de bénéficier d'un stockage Big Data efficace et d'un traitement haute performance.
Prérequis
Vous avez créé un projet MaxCompute et une instance Hologres.
Le projet MaxCompute et l'instance Hologres ont été associés à DataWorks en tant que ressources de calcul, et le test de connectivité a réussi.
Vous avez créé un nœud pour synchroniser les données vers MaxCompute.
Limites
Seules les données provenant des bases de données internes Hologres peuvent être synchronisées vers MaxCompute.
Pour connaître les limites liées à l'utilisation des tables externes Hologres dans MaxCompute, consultez la rubrique Tables externes Hologres.
Le mappage des types de données entre MaxCompute et Hologres diffère ; certains types de données Hologres ne peuvent donc pas être synchronisés vers MaxCompute.
Configurer le nœud de synchronisation
Dans l'onglet de configuration du nœud de synchronisation, configurez les paramètres suivants.
Sélectionner la source Hologres
Sélectionnez et configurez la table source Hologres.
|
Paramètre |
Description |
|
Source Object Type |
La valeur par défaut est |
|
Data Sources |
Sélectionnez la ressource de calcul Hologres à partir de laquelle vous souhaitez synchroniser les données. |
|
Instance |
Le système renseigne automatiquement ce champ avec l'ID de l'instance Hologres. |
|
Database |
Sélectionnez la base de données Hologres que vous souhaitez synchroniser. |
|
Schema |
Sélectionnez le schéma que vous souhaitez synchroniser. |
|
Table |
Sélectionnez le nom de la table que vous souhaitez synchroniser. |
|
Filtration conditions |
Le système génère automatiquement une condition de filtre basée sur la table partitionnée. Vous pouvez modifier cette condition selon vos besoins. Seules les données répondant à la condition de filtre sont conservées. Remarque
Une condition de filtre correspond à la partie d'une instruction SQL qui suit la clause |
Définir la destination MaxCompute
Configurez la table de destination MaxCompute.
|
Paramètre |
Description |
|
|
Data Sources |
Sélectionnez la ressource de calcul MaxCompute de destination. |
|
|
Project |
Projet MaxCompute correspondant à la source de données. Le système renseigne automatiquement cette valeur. |
|
|
Schema |
Sélectionnez le schéma dans lequel vous souhaitez stocker les données. Ce paramètre est disponible uniquement pour les projets MaxCompute ayant activé le modèle à trois couches. |
|
|
Table |
Spécifiez un nom pour la table interne MaxCompute. |
|
|
Lifecycle |
Définissez le cycle de vie de la table. MaxCompute supprime la table si ses données ne sont pas modifiées dans le délai spécifié. |
|
|
Field |
Synchronization Field |
Sélectionnez les champs que vous souhaitez synchroniser et définissez les types de données pour ces champs dans la table MaxCompute de destination. |
|
Partition Configurations |
Spécifiez les colonnes de partition pour la table interne dans MaxCompute. Vous pouvez obtenir les données de partition à partir de l'une des sources suivantes :
|
|
Configurer la synchronisation des données
Dans la section Data Synchronization Settings, configurez la méthode d'importation et les autorisations d'accès pour l'instance Hologres.
|
Paramètre |
Description |
|
Import Method |
Sélectionnez l'une des méthodes d'importation suivantes :
|
|
Access Hologres permissions |
Sélectionnez l'une des méthodes suivantes pour accéder à l'instance Hologres :
|
|
Location |
Lors de la synchronisation, le système crée automatiquement une table MaxCompute basée sur le chemin de stockage externe Hologres. Vous pouvez utiliser le chemin de stockage par défaut généré par le système ou spécifier un chemin personnalisé. |
Déboguer le nœud de synchronisation
Avant d'exécuter le nœud, configurez les paramètres de débogage.
-
Configurez les propriétés pour l'exécution de débogage.
Dans le volet Run Configuration situé à droite de l'onglet de configuration du nœud, configurez les paramètres Compute Resource et Resource Group. Le tableau suivant décrit ces paramètres.
Paramètre
Description
Compute Resource
Sélectionnez la ressource de calcul MaxCompute associée.
Computing Quota
Sélectionnez le quota de calcul généré lors de la création du projet MaxCompute, ou cliquez sur Create Computing Quota en bas de la liste déroulante pour en créer un nouveau. Pour plus d'informations, consultez Ressources de calcul - Gestion des quotas.
Resource Group
Sélectionnez le groupe de ressources qui a réussi le test de connectivité lors de l'association de la ressource de calcul MaxCompute.
CUs for Scheduling
Ce nœud utilise la valeur CU de planification par défaut. Vous n'avez pas besoin de la modifier.
Paramètres
Si vous utilisez des variables au format ${Nom du paramètre} dans la condition de filtre, vous devez définir leurs valeurs sous Parameter name et Parameter Value dans la section Script Parameters. Lors de l'exécution, le système remplace dynamiquement ces variables par leurs valeurs configurées. Pour plus d'informations, consultez Configuration de la planification des nœuds.
Pour déboguer et exécuter la tâche du nœud, cliquez sur Save puis sur Run.
Étapes suivantes
Pour exécuter le nœud périodiquement, configurez ses propriétés de planification dans le volet Scheduling Settings situé à droite. Définissez la Scheduling Policy et les propriétés de planification connexes. Consultez la rubrique Configuration de la planification des nœuds.
Pour exécuter la tâche dans l'environnement de production, cliquez sur l'icône
pour lancer le processus de déploiement. Les nœuds d'un projet s'exécutent selon une planification uniquement après leur déploiement dans l'environnement de production. Consultez la rubrique Déploiement des nœuds.
FAQ
Incompatibilité de type de champ : Si la tâche de synchronisation échoue en raison d'une incompatibilité de type de données, vérifiez si les types de données des champs dans la table MaxCompute sont correctement configurés.
Données incohérentes dans une seule partition synchronisée : Vérifiez si la condition de filtre source est correctement configurée.