Este tema describe las funciones de las tareas de sincronización serverless en Data Integration y explica cómo configurarlas.
Límites
Regiones compatibles: China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Shenzhen), China (Hong Kong), UK (London), US (Silicon Valley), US (Virginia), Japan (Tokyo), Germany (Frankfurt), Malaysia (Kuala Lumpur).
-
Tipos de sincronización compatibles:
MySQL a Hologres: sincronización en tiempo real de una base de datos completa
MySQL a MaxCompute: sincronización en tiempo real de una base de datos completa
MySQL a StarRocks: sincronización en tiempo real de una base de datos completa
Esta función solo admite orígenes de datos que pertenecen a su cuenta de Alibaba Cloud y se encuentran en la región actual.
Notas
Las tareas de sincronización serverless no utilizan grupos de recursos, lo que le permite centrarse en la tarea misma.
No es necesario configurar la conectividad de red para las tareas de sincronización serverless. Sin embargo, los bloques CIDR de VPC asociados con los orígenes de datos de origen y destino no deben superponerse.
Las tareas de sincronización serverless operan bajo el modelo pay-as-you-go. Cuando se inicia una tarea, se genera automáticamente un Order ID. Puede utilizar este Order ID para consultar información detallada de facturación en el sistema de pedidos de Alibaba Cloud. Para obtener más información sobre la facturación, consulte Performance metrics of DataWorks serverless resource groups.
Una tarea serverless se factura bajo el modelo pay-as-you-go únicamente mientras se está ejecutando. La facturación se detiene cuando la tarea no está en ejecución. Si ya no necesita una tarea, puede eliminarla. Esta operación es irreversible. Al eliminar una tarea también se libera su pedido asociado.
Puede consultar los cargos generados por una tarea serverless mediante su billing Order ID en Orders.
Procedimiento
Paso 1: Crear una tarea serverless
-
Inicie sesión en la DataWorks console. En la región objetivo, haga clic en en el panel de navegación izquierdo. Seleccione un workspace de la lista desplegable y haga clic en Go to Data Integration.
En el panel de navegación izquierdo, haga clic en Serverless Synchronization Task.
En el área Serverless Synchronization Task, seleccione un Source y un Destination, y luego haga clic en Create Serverless Synchronization Task.
Paso 2: Configurar la información básica
Para usar un origen de datos existente, haga clic en Use Existing Data Source y seleccione uno de la lista. La información del origen de datos se recupera automáticamente.
No es necesario agregar previamente los orígenes de datos de Data Source y Destination en Data Integration. Puede configurar directamente la información detallada del Data Source o del Destination en esta página.
Después de configurar la información de origen y destino, haga clic en Test. Para instancias de Alibaba Cloud RDS y Hologres, la prueba de conectividad se aprueba automáticamente si no hay ninguna lista de permitidos de direcciones IP configurada. Si existe una lista de permitidos de direcciones IP, debe agregar las direcciones IP necesarias a dicha lista. Para consultar la lista de direcciones IP, véase Network Connectivity and Whitelist Configuration.
Paso 3: Configuración de la tarea
Siga las instrucciones en pantalla para configurar los ajustes de sincronización según su tipo de tarea específico.
Paso 4: Completar la configuración
Después de configurar la información anterior, haga clic en Complete.
La primera vez que hace clic en Complete, se realiza automáticamente una Configuration Check. Tenga en cuenta que esta Configuration Check no bloquea la opción Complete y funciona solo como una verificación previa.
Iniciar la tarea
Al iniciar la tarea se activa otra Configuration Check. Tenga en cuenta que esta Configuration Check es obligatoria. Si la verificación falla, la tarea no podrá iniciarse.
Los elementos de una verificación de configuración varían según la tarea de sincronización.
Al iniciar una tarea por primera vez, el sistema comprueba si el usuario cuenta con los permisos necesarios. Estos permisos son los mismos que se requieren para adquirir grupos de recursos de propósito general serverless bajo el modelo pay-as-you-go. Solo los usuarios con los permisos AliyunBSSOrderAccess y AliyunDataWorksFullAccess pueden iniciar la tarea.
Detalles de la tarea
Haga clic en una entrada de la columna Name/ID o Execution Overview para ir a la página de detalles de la tarea.
Información básica: incluye los datos del origen de datos de la tarea, el Order ID y el plan de sincronización.
Estado de ejecución: muestra el estado de ejecución de cada paso en la tarea de sincronización. También puede consultar el registro de ejecución, los detalles de failover y la utilización de recursos.
Información detallada: incluye detalles sobre la migración de esquemas, la inicialización completa de datos y la sincronización en tiempo real.
Modificación de la tarea
En la columna Actions de la tarea objetivo, haga clic en Edit para ir a la página de configuración de la tarea.
Puede agregar, eliminar o modificar las tablas que se sincronizarán y, a continuación, hacer clic en Complete.
-
En la columna Actions, haga clic en Apply Updates.
Cuando hace clic en Apply Updates, se realiza automáticamente una verificación previa. Si la verificación falla, se bloquea la acción Apply Updates.
La verificación para Apply Updates contiene menos elementos que la verificación del inicio inicial. Dado que los recursos ya están inicializados, la fase de preparación de recursos se omite al hacer clic en Apply Updates, a diferencia de lo que ocurre durante el initial start.
Apéndice
Detalles del pedido de la tarea
A diferencia de otros tipos de tareas de sincronización, las tareas de sincronización serverless no utilizan grupos de recursos. Se liquidan mediante pedidos específicos de la tarea y operan bajo el modelo pay-as-you-go.
Una tarea serverless se factura bajo el modelo pay-as-you-go únicamente mientras se está ejecutando. La facturación se detiene cuando la tarea no está en ejecución. Si ya no necesita una tarea, puede eliminarla. Esta operación es irreversible. Al eliminar una tarea también se libera su pedido asociado.
Puede buscar un pedido de las siguientes maneras:
Haga clic en una entrada de la columna Name/ID o Execution Overview para ir a la página de detalles de la tarea.
En el área Basic Information, obtenga el Order ID.
Vaya a la página Orders de Alibaba Cloud y busque el pedido mediante el Order ID.
Configuración avanzada
Origen de sincronización y reglas
De forma predeterminada, la tarea sincroniza datos hacia un esquema y tablas de destino con los mismos nombres que los del origen. La tarea crea automáticamente el esquema o las tablas en el destino si estos no existen. También puede usar las opciones Customize Mapping Rules for Destination Schema Names y Customize Mapping Rules for Destination Table Names para definir los nombres finales del esquema o las tablas en el destino. Esto le permite reemplazar un prefijo en los nombres de origen por un prefijo diferente para los nombres de destino.
Tabla de destino
Puede definir las propiedades de la tabla de destino. Por ejemplo, puede especificar si desea escribir datos en una tabla existente o en una nueva, agregar un Field, especificar si desea escribir datos en una tabla particionada y establecer el nombre del Partition Field, el Storage Mode y la Value assignment.
En este paso, después de hacer clic en el botón Apply and Refresh Mapping, las tablas de origen y destino se asignan según las reglas configuradas.
Reglas de escritura
Si sus datos de origen implican operaciones DDL o DML frecuentes, puede configurar una directiva de procesamiento de mensajes DDL o DML para garantizar la integridad de los datos en el destino. Para obtener más información, consulte DDL Message Processing Rules y DML Message Processing Policies.