Migrate data from PolarDB for MySQL to MaxCompute - Data Transmission Service

Utilice Data Transmission Service (DTS) para migrar datos de un clúster de PolarDB for MySQL a un proyecto de MaxCompute. DTS admite la migración de esquemas, la migración completa de datos y la migración incremental de datos, lo que abarca tanto los datos históricos como los cambios continuos.

Funcionamiento

DTS utiliza una canalización de tres etapas para mover los datos de PolarDB for MySQL a MaxCompute:

Schema migration: DTS lee los esquemas de las tablas de origen y crea las tablas correspondientes en MaxCompute. Además, agrega el sufijo _base al nombre de cada tabla. Por ejemplo, la tabla customer se convierte en customer_base dentro de MaxCompute.
Full data migration: DTS copia todas las filas existentes de cada tabla de origen hacia la tabla _base correspondiente en MaxCompute. Estas tablas se denominan tablas de línea base completa y sirven como punto de partida para la sincronización incremental.
Incremental data migration: DTS crea una tabla _log independiente por cada tabla migrada (por ejemplo, customer_log). Luego transmite en tiempo real las operaciones INSERT, UPDATE y DELETE continuas desde los registros binarios de origen hacia estas tablas.

Requisitos previos

Antes de empezar, asegúrese de contar con lo siguiente:

El servicio MaxCompute activado y un proyecto de MaxCompute. Consulte Activate MaxCompute and DataWorks y Create a MaxCompute project.
Una lista blanca de direcciones IP configurada en el proyecto de MaxCompute para permitir el acceso de DTS. Consulte Configure an IP address whitelist to allow access from Alibaba Cloud services to MaxCompute.
Un par de AccessKey de la cuenta de Alibaba Cloud propietaria del proyecto de MaxCompute de destino. Consulte Crear un par de AccessKey.

En lugar de usar el par de AccessKey de la cuenta principal, cree un usuario de RAM y establézcalo como superadministrador del proyecto de MaxCompute .

Límites

Condiciones que bloquean la tarea (corríjalas antes de iniciar)

Las siguientes condiciones provocan que la tarea de migración presente errores:

El servidor donde se despliega la base de datos de origen debe tener suficiente ancho de banda de salida. De lo contrario, la velocidad de migración de datos disminuye.
Las tablas que se van a migrar deben tener una restricción PRIMARY KEY o UNIQUE con todos los campos únicos. Sin esto, el destino podría contener registros duplicados.
Si selecciona tablas como objetos de migración y necesita cambiarles el nombre a tablas o columnas, una sola tarea admite hasta 1,000 tablas. Las tareas con más de 1,000 tablas en este modo devuelven un error de solicitud. Configure varias tareas o migre a nivel de base de datos.
Para la migración incremental de datos, el registro binario debe estar habilitado y el parámetro loose_polar_log_bin debe establecerse en on. Si el registro binario no está habilitado, la comprobación previa presenta errores y la tarea no puede iniciarse. Consulte Enable binary logging y Modificar parámetros.
No ejecute instrucciones DDL para modificar los esquemas de bases de datos o tablas durante la migración de esquemas ni durante la migración completa de datos. La tarea de migración presenta errores si los esquemas cambian mientras se ejecuta.
No utilice herramientas como pt-online-schema-change para operaciones DDL en línea sobre los objetos que se están migrando. La tarea de migración presentará errores.

Habilitar el registro binario en un clúster de PolarDB for MySQL genera cargos de almacenamiento por los archivos de registro binario.

Riesgos de integridad de los datos (revíselos antes de iniciar)

Estas condiciones pueden causar inconsistencia o pérdida de datos:

Los registros binarios deben conservarse como mínimo 3 días; para mayor seguridad, consérvelos 7 días. Si DTS no logra leer los registros binarios, la tarea presenta errores. En casos excepcionales, puede producirse inconsistencia o pérdida de datos. Conservar los registros menos días de los necesarios implica que el Acuerdo de Nivel de Servicio (SLA) de DTS podría no aplicar. Consulte Modificar el periodo de retención.
No escriba datos en la base de datos de origen durante una migración exclusiva completa (migración de esquemas + migración completa de datos sin fase incremental). Escribir en el origen durante esta etapa provoca inconsistencia de datos. Para escribir de forma segura en el origen durante la migración, incluya la migración incremental de datos.
No escriba datos de otras fuentes en el proyecto de MaxCompute de destino durante la migración. Las escrituras externas causan inconsistencia de datos.
MaxCompute no admite restricciones de clave primaria. Si ocurren errores de red, DTS podría escribir registros duplicados en el proyecto de MaxCompute.
DTS reintenta las tareas con errores durante un máximo de 7 días. Antes de trasladar las cargas de trabajo al destino, detenga o libere las tareas con errores. Como alternativa, revoque los permisos de escritura de las cuentas de DTS en el destino. De lo contrario, los datos de origen sobrescribirán los datos de destino cuando se reanude una tarea con errores.

Límites operativos

DTS no migra los nodos de solo lectura del clúster de PolarDB for MySQL de origen.
DTS no migra las tablas externas de Object Storage Service (OSS) del clúster de PolarDB for MySQL de origen.
DTS no migra claves externas. Las operaciones en cascada y de eliminación que dependen de claves externas no se replican al destino.
Migre los datos fuera del horario de mayor demanda. La migración completa de datos consume recursos de lectura y escritura tanto en el origen como en el destino, lo que incrementa la carga en ambos servidores de bases de datos.
Después de la migración completa de datos, el espacio de tablas de destino es mayor que el de origen porque las operaciones INSERT simultáneas fragmentan las tablas.
Si una instancia de DTS presenta errores, el equipo de soporte de DTS intenta recuperarla en un plazo de 8 horas. La recuperación puede implicar reiniciar la instancia o ajustar parámetros de la instancia de DTS (no parámetros de la base de datos). Para conocer los parámetros que podrían modificarse, consulte Modificar parámetros de la instancia.
No se admite la migración de datos de tipo VECTOR.

Facturación

Migration type	Task configuration fee	Internet traffic fee
Migración de esquemas y migración completa de datos	Gratuita	Gratuita, a menos que Access Method esté establecido en Public IP Address. Consulte Descripción general de la facturación.
Migración incremental de datos	Con cargo. Consulte Descripción general de la facturación.	—

Operaciones SQL compatibles con la migración incremental

Operation type	SQL statements
DML	INSERT, UPDATE, DELETE
DDL	ADD COLUMN

No es posible migrar las operaciones ADD COLUMN que incluyen columnas de atributos.

Permisos obligatorios de la cuenta de la base de datos

Database	Required permissions	How to grant
PolarDB for MySQL	Permisos de lectura sobre los objetos que se van a migrar	Create and manage database accounts y Manage database account passwords

Crear una tarea de migración

Paso 1: Abrir la página Data Migration

Utilice la consola de DTS o la consola de DMS.

Consola de DTS

Inicie sesión en la consola de DTS.consola de DTS
En el panel de navegación izquierdo, haga clic en Data Migration.
En la esquina superior izquierda, seleccione la región donde residirá la instancia de migración.

Consola de DMS

Nota

La distribución de la consola de DMS varía según el modo. Consulte Modo simple y Personalizar la distribución y el estilo de la consola de DMS.

Inicie sesión en la consola de DMS.consola de DMS
En la barra de navegación superior, coloque el puntero sobre Data + AI > DTS (DTS) > Data Migration.
En la lista desplegable junto a Data Migration Tasks, seleccione la región donde residirá la instancia de migración.

Paso 2: Configurar las bases de datos de origen y de destino

Haga clic en Create Task.
Configure los siguientes parámetros.

General

Parameter	Description
Task Name	Nombre de la tarea de DTS. DTS genera un nombre predeterminado. Especifique un nombre descriptivo para identificar la tarea fácilmente. Los nombres de las tareas no necesitan ser únicos.

Base de datos de origen

Parameter	Description
Select Existing Connection	Si la base de datos de origen ya está registrada en DTS, selecciónela en la lista desplegable. DTS completará automáticamente los campos restantes. De lo contrario, configure los campos siguientes. En la consola de DMS, seleccione en Select a DMS database instance.
Database Type	Seleccione PolarDB for MySQL.
Access Method	Seleccione Alibaba Cloud Instance.
Instance Region	Región donde reside el clúster de PolarDB for MySQL de origen.
Replicate Data Across Alibaba Cloud Accounts	Seleccione No cuando migre dentro de la misma cuenta de Alibaba Cloud.
PolarDB Cluster ID	Identificador del clúster de PolarDB for MySQL de origen.
Database Account	Cuenta de la base de datos del clúster de origen. Consulte Required database account permissions.
Database Password	Contraseña de la cuenta de la base de datos.
Encryption	Indica si se cifra la conexión con la base de datos de origen. Consulte Configure SSL encryption.

Base de datos de destino

Parameter	Description
Select Existing Connection	Si el proyecto de MaxCompute de destino ya está registrado en DTS, selecciónelo en la lista desplegable. De lo contrario, configure los campos siguientes.
Database Type	Seleccione MaxCompute.
Access Method	Seleccione Alibaba Cloud Instance.
Instance Region	Región donde reside el proyecto de MaxCompute de destino.
Project	Nombre del proyecto de MaxCompute de destino.
AccessKey ID of Alibaba Cloud Account	AccessKey ID del par de AccessKey que preparó en los requisitos previos.
AccessKey Secret of Alibaba Cloud Account	AccessKey Secret del par de AccessKey.

Haga clic en Test Connectivity and Proceed.

Asegúrese de que los bloques CIDR de los servidores de DTS estén agregados a la configuración de seguridad de las bases de datos de origen y de destino. DTS puede agregarlos automáticamente o usted puede hacerlo de forma manual. Consulte Agregar direcciones IP de los servidores de DTS a una lista blanca .

Haga clic en OK para otorgar permisos a DTS sobre el proyecto de MaxCompute. Después, haga clic en Test Connectivity and Proceed.

Paso 3: Configurar los objetos de migración

En la página Configure Objects, establezca los siguientes parámetros.

Migration types

Parameter

Description

Migration Types

Seleccione los tipos de migración según su caso de uso: <br>- Schema Migration + Full Data Migration: migra únicamente los datos históricos. La tarea finaliza y se detiene automáticamente.<br>- Schema Migration + Full Data Migration + Incremental Data Migration: migra los datos históricos y replica los cambios continuos en tiempo real. La tarea se ejecuta de forma continua hasta que usted la detenga.

Si omite Schema Migration , cree manualmente la base de datos y las tablas de destino antes de iniciar la tarea. Además, habilite la asignación de nombres de objetos en Selected Objects .

Si omite Incremental Data Migration , no escriba en la base de datos de origen durante la migración para evitar inconsistencias de datos.

Configuración de tablas

Parameter	Description
Naming Rules of Additional Columns	Tras la migración, DTS agrega columnas adicionales a la tabla de destino. Si el nombre de una columna agregada entra en conflicto con una existente, la tarea presenta errores. Seleccione New Rule o Previous Rule según su configuración. Compruebe si existen conflictos de nombres antes de elegir. Consulte Naming rules for additional columns.
Partition Definition of Incremental Data Table	Seleccione los nombres de partición para la tabla de datos incrementales. Consulte Partition.
Processing Mode of Conflicting Tables	Define cómo gestiona DTS las tablas del destino que tienen el mismo nombre que las del origen:<br>- Precheck and Report Errors: la tarea no supera la comprobación previa si se detectan conflictos de nombres. Para resolverlos sin cambiar el nombre de las tablas de destino, utilice la asignación de nombres de objetos. Consulte Map object names.<br>- Ignore Errors and Proceed: omite la comprobación de conflictos. Si los esquemas de origen y destino coinciden y hay conflicto de claves primarias, la migración completa omite el registro en conflicto (se conserva el registro de destino), mientras que la migración incremental lo sobrescribe. Si los esquemas difieren, solo se migran columnas específicas o la tarea presenta errores. Utilícelo con precaución.
Capitalization of Object Names in Destination Instance	Directiva de uso de mayúsculas y minúsculas para los nombres de bases de datos, tablas y columnas en el destino. El valor predeterminado es DTS default policy. Consulte Especificar el uso de mayúsculas y minúsculas en los nombres de objetos de la instancia de destino.

Selección de objetos

Parámetro	Descripción
Source Objects	Seleccione los objetos que desea migrar. Haga clic en el ícono para moverlos a Selected Objects. Las tablas son el único tipo de objeto compatible con esta ruta de migración.
Selected Objects	Para cambiar el nombre de un solo objeto en el destino, haga clic derecho sobre él en Selected Objects. Consulte Asignar el nombre de un solo objeto. Para cambiar el nombre de varios objetos a la vez, haga clic en Batch Edit. Consulte Asignar varios nombres de objetos a la vez. Para filtrar filas de una tabla, haga clic derecho sobre ella y configure las condiciones de filtro. Consulte Specify filter conditions. Nota Cambiar el nombre de un objeto mediante la asignación de nombres puede provocar que los objetos dependientes no se migren correctamente.

Haga clic en Next: Advanced Settings.

Paso 4: Configurar los ajustes avanzados

Parámetro	Descripción
Dedicated Cluster for Task Scheduling	De forma predeterminada, DTS programa la tarea en el clúster compartido. Para obtener mayor estabilidad, adquiera un clúster dedicado. Consulte Qué es un clúster dedicado de DTS.
Retry Time for Failed Connections	Tiempo durante el cual DTS reintenta la conexión cuando la base de datos de origen o de destino no es accesible. Valores válidos: de 10 a 1,440 minutos. Valor predeterminado: 720 minutos. Se recomienda establecer este parámetro en un valor mayor a 30. Si DTS restablece la conexión dentro de la ventana de reintentos, reanuda la tarea. De lo contrario, la tarea presenta errores. Nota Cuando varias tareas comparten una base de datos de origen o de destino, se aplica el tiempo de reintento configurado más recientemente. DTS cobra por la instancia durante los reintentos.
Retry Time for Other Issues	Tiempo durante el cual DTS reintenta tras errores en operaciones DDL o DML. Valores válidos: de 1 a 1,440 minutos. Valor predeterminado: 10 minutos. Se recomienda establecer este parámetro en un valor mayor a 10. Debe ser menor que Retry Time for Failed Connections.
Enable Throttling for Full Data Migration	Limita la carga de lectura y escritura en el origen y el destino durante la migración completa de datos. Configure Queries per second (QPS) to the source database, RPS of Full Data Migration (filas por segundo) y Data migration speed for full migration (MB/s). Solo está disponible cuando se selecciona Full Data Migration.
Enable Throttling for Incremental Data Migration	Limita la carga durante la migración incremental de datos. Configure RPS of Incremental Data Migration y Data migration speed for incremental migration (MB/s). Solo está disponible cuando se selecciona Incremental Data Migration.
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks	Controla si DTS escribe operaciones SQL en las tablas de latido de la base de datos de origen durante la ejecución. Yesconfiguración de notificaciones de alertas: no escribe en las tablas de latido (podría aparecer un indicador de latencia en la instancia). No: escribe en las tablas de latido (podría afectar la copia de seguridad física o la clonación del origen).
Environment Tag	Etiqueta opcional para identificar la instancia de DTS según el entorno (por ejemplo, producción o pruebas).
Configure ETL	Indica si se habilita la función de extracción, transformación y carga (ETL). Yes: configure las instrucciones de procesamiento de datos en el editor de código. Consulte Configurar ETL en una tarea de migración o sincronización de datos. No: omita la configuración de ETL. Consulte ¿Qué es ETL?
Monitoring and Alerting	Indica si se configuran alertas para la tarea de migración. Yes: establezca los umbrales de alerta y los contactos de notificación. Las alertas se activan si la tarea presenta errores o si la latencia de migración supera el umbral. Consulte Configurar monitoreo y alertas al crear una tarea de DTS. No: omita la configuración de alertas.

Paso 5: Ejecutar la comprobación previa

Para previsualizar los parámetros de la API antes de guardar, coloque el puntero sobre Next: Save Task Settings and Precheck y haga clic en Preview OpenAPI parameters.
Haga clic en Next: Save Task Settings and Precheck.

DTS ejecuta una comprobación previa antes de que la tarea de migración pueda iniciarse. La tarea solo comienza después de superar dicha comprobación.

Si un elemento de comprobación presenta errores, haga clic en View Details junto a él, corrija el problema y haga clic en Precheck Again.
Si se activa una alerta en un elemento de comprobación y puede ignorarlo de forma segura, haga clic en Confirm Alert Details. Luego, haga clic en Ignore en el cuadro de diálogo y en OK. Después, haga clic en Precheck Again. Ignorar una alerta puede causar inconsistencia de datos.

Paso 6: Adquirir una instancia e iniciar la tarea

Espere a que Success Rate alcance 100% y luego haga clic en Next: Purchase Instance.
En la página Purchase Instance, configure los siguientes parámetros.

Parameter	Description
Resource Group	Resource group de la instancia de migración. El valor predeterminado es el resource group por defecto. Consulte ¿Qué es Resource Management?
Instance Class	Clase de velocidad de migración. Selecciónela según sus requisitos de rendimiento. Consulte Clases de instancia de las instancias de migración de datos.

Lea y acepte Data Transmission Service (Pay-as-you-go) Service Terms al seleccionar la casilla de verificación.
Haga clic en Buy and Start y luego en OK en el cuadro de diálogo de confirmación.

La tarea aparece en la página Data Migration.

Las tareas sin migración incremental se detienen automáticamente cuando finaliza la migración completa. El estado muestra Completed.
Las tareas con migración incremental se ejecutan de forma continua. El estado muestra Running. Detenga la tarea manualmente cuando esté listo para realizar el corte.

Estructura de las tablas de datos incrementales

Ejecute set odps.sql.allow.fullscan=true; en MaxCompute para permitir exploraciones completas de tablas en el proyecto antes de consultar las tablas de datos incrementales.

DTS escribe los cambios incrementales del origen en una tabla _log de MaxCompute (por ejemplo, customer_log). Cada fila de la tabla de datos incrementales representa un evento de cambio e incluye tanto las columnas de datos de la tabla de origen como las siguientes columnas de metadatos.

Field	Description
`record_id`	Identificador único de la entrada de registro incremental. Los identificadores se incrementan automáticamente con cada nueva entrada. Para las operaciones UPDATE, DTS genera dos entradas (valores anteriores y posteriores a la actualización) con el mismo `record_id`.
`operation_flag`	Tipo de cambio: `I` (INSERT), `D` (DELETE) o `U` (UPDATE).
`utc_timestamp`	Marca de tiempo de la operación en formato UTC, obtenida del registro binario.
`before_flag`	Indica si la fila contiene los valores previos a la actualización: `Y` o `N`.
`after_flag`	Indica si la fila contiene los valores posteriores a la actualización: `Y` o `N`.