Utilice un nodo de sincronización de DataWorks para migrar datos desde una tabla individual de Hologres hacia MaxCompute, con el fin de lograr un almacenamiento eficiente de big data y un procesamiento de alto rendimiento.
Requisitos previos
Cuenta con created a MaxCompute project y Hologres instance.
El proyecto de MaxCompute y la instancia de Hologres se han bound to DataWorks as computing resources, y la prueba de conectividad fue exitosa.
Cuenta con created a node to synchronize data to MaxCompute.
Límites
Solo es posible sincronizar a MaxCompute los datos provenientes de bases de datos internas de Hologres.
Para consultar los límites sobre el uso de tablas externas de Hologres en MaxCompute, consulte Hologres external tables.
La data type mapping between MaxCompute and Hologres es diferente, por lo que algunos tipos de datos de Hologres no se pueden sincronizar a MaxCompute.
Configurar el nodo de sincronización
En la pestaña de configuración del nodo de sincronización, configure los siguientes ajustes.
Seleccionar origen de Hologres
Seleccione y configure la tabla de origen de Hologres.
|
Parámetro |
Descripción |
|
Source Object Type |
El valor predeterminado es |
|
Data Sources |
Seleccione el recurso de cómputo de Hologres desde el cual desea sincronizar los datos. |
|
Instance |
El sistema rellena automáticamente este campo con el ID de la instancia de Hologres. |
|
Database |
Seleccione la base de datos de Hologres que desea sincronizar. |
|
Schema |
Seleccione el esquema que desea sincronizar. |
|
Table |
Seleccione el nombre de la tabla que desea sincronizar. |
|
Filtration conditions |
El sistema genera automáticamente una condición de filtro basada en la tabla particionada. Puede modificar la condición según sea necesario. Se conservan únicamente los datos que cumplen con dicha condición. Nota
Una condición de filtro corresponde a la parte de una sentencia SQL que sigue a la cláusula |
Establecer destino de MaxCompute
Configure la tabla de destino en MaxCompute.
|
Parámetro |
Descripción |
|
|
Data Sources |
Seleccione el recurso de cómputo de MaxCompute de destino. |
|
|
Project |
Proyecto de MaxCompute correspondiente al origen de datos. El sistema rellena este valor automáticamente. |
|
|
Schema |
Seleccione el esquema donde desea almacenar los datos. Este parámetro solo está disponible para proyectos de MaxCompute que tienen habilitada la opción three-layer model. |
|
|
Table |
Especifique un nombre para la tabla interna de MaxCompute. |
|
|
Lifecycle |
Establezca el ciclo de vida de la tabla. MaxCompute recupera la tabla si sus datos no se modifican dentro del periodo especificado. |
|
|
Field |
Synchronization Field |
Seleccione los campos que desea sincronizar y establezca los tipos de datos correspondientes en la tabla de destino de MaxCompute. |
|
Partition Configurations |
Especifique las columnas de partición para la tabla interna en MaxCompute. Los datos de partición se pueden obtener de cualquiera de los siguientes orígenes:
|
|
Configurar la sincronización de datos
En la sección Data Synchronization Settings, configure el método de importación y los permisos de acceso para la instancia de Hologres.
|
Parámetro |
Descripción |
|
Import Method |
Seleccione uno de los siguientes métodos de importación:
|
|
Access Hologres permissions |
Seleccione uno de los siguientes métodos para acceder a la instancia de Hologres:
|
|
Location |
Durante la sincronización, el sistema crea automáticamente una tabla de MaxCompute basada en la ruta de almacenamiento externo de Hologres. Puede utilizar la ruta de almacenamiento predeterminada generada por el sistema o especificar una ruta personalizada. |
Depurar el nodo de sincronización
Antes de ejecutar el nodo, configure los ajustes de depuración.
-
Configure las propiedades para la ejecución de depuración.
En el panel Run Configuration, ubicado al lado derecho de la pestaña de configuración del nodo, configure el Compute Resource y el Resource Group. La siguiente tabla describe estos parámetros.
Parámetro
Descripción
Compute Resource
Seleccione el recurso de cómputo de MaxCompute vinculado.
Computing Quota
Seleccione la cuota de cómputo que se generó al crear el proyecto de MaxCompute, o haga clic en Create Computing Quota en la parte inferior de la lista desplegable para crear una nueva. Para más información, consulte Computing resources - Quota management.
Resource Group
Seleccione el resource group que aprobó la prueba de conectividad cuando vinculó el recurso de cómputo de MaxCompute.
CUs for Scheduling
Este nodo utiliza el valor predeterminado de CU de programación. No es necesario modificarlo.
Parameters
Si utiliza variables con el formato ${Parameter name} en la condición de filtro, debe definir sus valores en los campos Parameter name y Parameter Value dentro de la sección Script Parameters. Durante la ejecución, el sistema reemplaza dinámicamente estas variables con los valores configurados. Para más información, consulte Node scheduling configuration.
Para depurar y ejecutar la tarea del nodo, haga clic en Save y luego haga clic en Run.
Siguientes pasos
Para ejecutar el nodo periódicamente, configure sus propiedades de programación en el panel Scheduling Settings ubicado a la derecha. Establezca la Scheduling Policy y las propiedades relacionadas. Consulte Node scheduling configuration.
Para ejecutar la tarea en el entorno de producción, haga clic en el icono
para iniciar el proceso de despliegue. Los nodos de un proyecto solo se ejecutan bajo una programación después de desplegarse en el entorno de producción. Consulte Node deployment.
Preguntas frecuentes
Incompatibilidad de tipos de campo: Si la tarea de sincronización falla debido a una incompatibilidad de data type, compruebe si los tipos de datos de los campos en la tabla de MaxCompute están configurados correctamente.
Datos inconsistentes en una sola partición sincronizada: Compruebe si la condición de filtro de origen está configurada correctamente.