Data Transmission Service:Sincronizar datos de una instancia de RDS for MySQL a un proyecto de MaxCompute

Requisitos de la base de datos de origen

• Las tablas deben tener restricciones PRIMARY KEY o UNIQUE con todos los campos únicos. De lo contrario, el destino podría contener registros duplicados.

• Al sincronizar tablas que incluyen cambios de nombre en columnas o en la propia tabla, una sola tarea admite hasta 1,000 tablas. Si ejecuta una tarea para sincronizar más de 1,000 tablas, se producirá un error de solicitud. Utilice varias tareas o sincronice a nivel de base de datos.

• No ejecute sentencias DDL durante la sincronización de esquemas ni durante la sincronización completa de datos, ya que esto provocará un error en la tarea.

• Los datos generados por operaciones en cascada o por la restauración de copias de seguridad físicas no se sincronizan.

• Si el origen ejecuta MySQL 8.0.23 o posterior y las tablas contienen columnas invisibles, dichas columnas se excluirán y se perderán datos. Ejecute ALTER TABLE <table_name> ALTER COLUMN <column_name> SET VISIBLE; para hacerlas visibles antes de iniciar la tarea. Las tablas sin claves primarias reciben automáticamente claves primarias invisibles; hágolas visibles también. Consulte Columnas invisibles y Claves primarias invisibles generadas.

Requisitos del registro binario

Configure los siguientes parámetros de MySQL antes de crear la tarea:

Requisitos de retención del registro binario:

• ApsaraDB RDS for MySQL: conserve los registros binarios durante al menos 3 días; se recomiendan 7 días.

• MySQL autogestionado: conserve los registros binarios durante al menos 7 días.

Si los registros binarios se purgan antes de que DTS los lea, la tarea fallará y podría producirse inconsistencia o pérdida de datos. Consulte Eliminar archivos de registro binario para obtener información sobre cómo configurar el periodo de retención.

Otras limitaciones

• Realice la sincronización fuera del horario pico. La sincronización completa de datos consume recursos de lectura y escritura tanto en el origen como en el destino, lo que incrementa la carga del servidor.

• Una vez completada la sincronización completa de datos, el espacio de tablas del destino será mayor que el del origen debido a la fragmentación causada por operaciones INSERT concurrentes.

• No ejecute pt-online-schema-change ni herramientas DDL en línea similares sobre los objetos sincronizados mientras la tarea esté en ejecución, ya que esta fallará.

• Escribir datos desde otros orígenes en el destino durante la sincronización puede provocar inconsistencia en los datos.

• Si el origen tiene EncDB habilitado, no se admite la sincronización completa de datos. Transparent Data Encryption (TDE) no presenta esta restricción: las instancias con TDE admiten sincronización de esquemas, completa e incremental.

• Si una tarea de DTS falla, el soporte técnico de DTS intentará restaurarla en un plazo de 8 horas. Durante este periodo, la tarea podría reiniciarse y sus parámetros (no los de la base de datos) podrían modificarse.

Casos especiales para MySQL autogestionado

• Un cambio de rol entre primario y secundario mientras la tarea se está ejecutando provocará que esta falle.

• La latencia de sincronización se calcula comparando la marca de tiempo del último dato sincronizado en el destino con la marca de tiempo actual del origen. Si no se ejecutan operaciones DML en el origen durante un periodo prolongado, la latencia mostrada podría ser inexacta. Para actualizarla, ejecute cualquier operación DML en el origen. Si sincroniza una base de datos completa, cree una tabla de latidos que reciba actualizaciones cada segundo.

• DTS ejecuta periódicamente CREATE DATABASE IF NOT EXISTS 'test' en el origen para avanzar la posición del registro binario.

Casos especiales para ApsaraDB RDS for MySQL

• Las instancias de solo lectura de ApsaraDB RDS for MySQL 5.6 que no registran registros de transacciones no pueden utilizarse como origen.

• DTS ejecuta periódicamente CREATE DATABASE IF NOT EXISTS 'test' en el origen para avanzar la posición del registro binario.

Paso 1: Abrir la página de sincronización de datos

Utilice cualquiera de las consolas para abrir la página de configuración de tareas.

Consola de DTS

1. Inicie sesión en la consola de DTS.

2. En el panel de navegación izquierdo, haga clic en Data Synchronization.

3. En la esquina superior izquierda, seleccione la región donde residirá la instancia de sincronización.

Consola de DMS

La ruta de navegación exacta depende del modo y la disposición de su consola de DMS. Consulte Modo simple y Personalizar la disposición y el estilo de la consola de DMS .

1. Inicie sesión en la consola de DMS.

2. En la barra de navegación superior, pase el puntero sobre Data + AI y elija DTS (DTS) > Data Synchronization.

3. En la lista desplegable situada a la derecha de Data Synchronization Tasks, seleccione la región.

Paso 2: Configurar las bases de datos de origen y destino

Haga clic en Create Task y configure los siguientes parámetros.

Paso 3: Probar la conectividad

Haga clic en Test Connectivity and Proceed en la parte inferior de la página.

DTS necesita acceso a ambas bases de datos. Si se conecta a una base de datos autogestionada, debe agregar los bloques CIDR de DTS a su configuración de seguridad. Consulte Agregar los bloques CIDR de los servidores de DTS . Para bases de datos autogestionadas que no utilizan el acceso mediante Alibaba Cloud Instance , haga clic en Test Connectivity en el cuadro de diálogo CIDR Blocks of DTS Servers .

Haga clic en OK para otorgar permisos a su cuenta de MaxCompute y, a continuación, haga clic en Test Connectivity and Proceed.

Paso 4: Configurar objetos

En el paso Configure Objects, establezca los siguientes parámetros.

Cambiar el nombre de un objeto mediante la asignación de nombres puede provocar que los objetos dependientes no se sincronicen correctamente.

Paso 5: Configurar ajustes avanzados

Haga clic en Next: Advanced Settings y configure los siguientes parámetros.

Paso 6: Ejecutar la verificación previa

Haga clic en Next: Save Task Settings and Precheck.

Para previsualizar los parámetros de la API correspondientes a esta configuración de tarea, pase el cursor sobre el botón y haga clic en Preview OpenAPI parameters antes de continuar.

DTS ejecuta una verificación previa antes de que la tarea pueda iniciarse.

• Si algún elemento falla, haga clic en View Details para ver la causa. Corrija el problema y haga clic en Precheck Again.

• Si algún elemento genera una alerta que puede ignorarse, haga clic en Confirm Alert Details; luego, en el cuadro de diálogo, haga clic en Ignore y después en OK. Haga clic en Precheck Again para continuar. Ignorar alertas puede provocar inconsistencia en los datos.

Paso 7: Adquirir e iniciar la instancia

1. Espere a que Success Rate alcance el 100% y haga clic en Next: Purchase Instance.

2. En la página de adquisición, configure los siguientes parámetros.

1. Lea y acepte los Data Transmission Service (Pay-as-you-go) Service Terms.

2. Haga clic en Buy and Start. En el cuadro de diálogo de confirmación, haga clic en OK.

La tarea aparecerá en la lista de tareas, donde podrá monitorear su progreso.

set odps.sql.allow.fullscan=true;