Data Transmission Service:Migrar datos de una base de datos TiDB autogestionada a AnalyticDB for MySQL 3.0

Elegir un método

Configurar parámetros de Kafka

Antes de conectarse a DTS, aumente los siguientes parámetros de Kafka. Sin estos cambios, el clúster de Kafka podría rechazar cargas útiles grandes de registro binario provenientes de TiDB.

Preparar un clúster de Kafka

Utilice una de las siguientes opciones:

• Clúster de Kafka autogestionado: Despliegue su propio clúster. Consulte el sitio web oficial de Apache Kafka.

• Instancia de ApsaraMQ for Kafka: Cree una instancia gestionada. Consulte Descripción general de inicio rápido. Despliegue la instancia en la misma virtual private cloud (VPC) que el servidor de la base de datos TiDB.

Una vez que el clúster de Kafka esté listo, cree un tema con exactly one partition. DTS lee únicamente desde la partición con ID 0. Las particiones adicionales provocan pérdida de datos.

Usar TiDB Binlog

1. Despliegue Pump y Drainer en servidores dentro de la misma red interna que la base de datos TiDB. Consulte Despliegue de clúster de TiDB Binlog.

2. Edite el archivo de configuración de Drainer para apuntar al clúster de Kafka. Consulte Guía de usuario del cliente consumidor de binlog.

3. Compruebe que el servidor de TiDB pueda alcanzar el clúster de Kafka.

4. Agregue los bloques CIDR de los servidores DTS a la lista de permitidos de la base de datos TiDB. Consulte Agregar los bloques CIDR de los servidores DTS.

Usar TiCDC

1. Instale TiCDC mediante TiUP para agregar un nuevo nodo de TiCDC o escalar horizontalmente un nodo existente en el clúster de TiDB. Consulte Desplegar y mantener TiCDC.

2. Cree un changefeed para replicar datos incrementales a Kafka. Utilice tiup cdc cli changefeed create como comando inicial. Consulte Replicar datos a Kafka.

3. Compruebe que el servidor de TiDB pueda alcanzar el clúster de Kafka.

Base de datos de origen

• El servidor de TiDB debe tener suficiente ancho de banda de salida. Un ancho de banda bajo reduce la velocidad de migración.

• Las tablas a migrar deben tener restricciones PRIMARY KEY o UNIQUE con todos los campos únicos. Las tablas sin estas restricciones pueden generar registros duplicados en el destino.

• Si cambia el nombre de tablas o columnas durante la migración, una sola tarea admite hasta 1,000 tablas. Para más de 1,000 tablas, divida la migración en varias tareas o migre toda la base de datos en una sola tarea.

• Si desea migrar datos incrementales desde la base de datos TiDB de origen, debe desplegar un clúster de Kafka e instalar los componentes relacionados para que la base de datos TiDB recopile los datos incrementales.

• Los índices de prefijo no se pueden migrar. Si la base de datos de origen contiene índices de prefijo, la tarea de migración puede fallar.

Migración incremental

• DTS lee datos únicamente desde la partición con ID 0 del tema de Kafka. Configure el tema con exactamente una partición.

• Después de crear una tarea de migración incremental, realice operaciones en la base de datos de origen o inserte datos de prueba rápidamente para actualizar la información de desplazamiento de la tarea. Retrasos prolongados antes del primer evento de datos pueden causar errores en la tarea.

Comportamiento del destino y de la tarea

• Especifique una clave primaria personalizada en la base de datos de destino o configure Primary Key Column en el paso Configurations for Databases, Tables, and Columns. La falta de configuración de la clave primaria provoca errores en la migración de datos.

• Si se realiza una copia de seguridad del clúster de AnalyticDB for MySQL V3.0 mientras se ejecuta la tarea de DTS, la tarea falla.

• Si el uso de disco en los nodos de AnalyticDB for MySQL V3.0 supera el 80%, la tarea de migración se retrasa y se devuelven errores. Estime el espacio en disco necesario antes de comenzar.

• La migración completa de datos aumenta la carga tanto en la base de datos de origen como en la de destino. Ejecute las migraciones fuera de horas pico, cuando la carga de CPU sea inferior al 30%.

• La migración completa de datos utiliza operaciones INSERT simultáneas, lo que causa fragmentación en las tablas de destino. Una vez completada la migración completa, el tamaño del tablespace de destino será mayor que el del origen.

• Si otros orígenes escriben en el destino durante la migración, puede producirse inconsistencia en los datos.

• DTS utiliza la función ROUND(COLUMN,PRECISION) para recuperar valores FLOAT y DOUBLE. La precisión predeterminada es de 38 dígitos para FLOAT y 308 dígitos para DOUBLE. Compruebe que estos valores predeterminados cumplan con sus requisitos antes de comenzar.

• Durante la migración de esquemas, DTS no admite la migración de vistas materializadas a la instancia de destino de AnalyticDB for MySQL. Para usar vistas materializadas, créelas manualmente en la instancia de destino una vez finalizada la migración.

• DTS intenta reanudar automáticamente las tareas con errores durante un máximo de siete días. Antes de cambiar las cargas de trabajo al destino, detenga o libere cualquier tarea con errores, o ejecute la instrucción REVOKE para eliminar los permisos de escritura de las cuentas de DTS. De lo contrario, una tarea reanudada podría sobrescribir los datos de destino.

• Si las instrucciones DDL fallan en el destino, la tarea de DTS continúa ejecutándose. Consulte las instrucciones DDL con errores en los registros de la tarea. Véase Ver registros de tareas.

• Si una tarea de DTS falla, el soporte técnico de DTS intenta restaurarla en un plazo de 8 horas. Durante la restauración, la tarea puede reiniciarse y modificarse sus parámetros (no los de la base de datos). Para obtener una lista de los parámetros que pueden cambiar, consulte Modificar parámetros de instancia.

Paso 1: Ir a la página Data Migration

Utilice la consola de DTS o la consola de DMS.

Consola de DTS

1. Inicie sesión en la consola de DTS.

2. En el panel de navegación izquierdo, haga clic en Data Migration.

3. En la esquina superior izquierda, seleccione la región donde residirá la instancia de migración.

Consola de DMS

Los pasos pueden variar según el modo y el diseño de la consola de DMS. Consulte Modo simple y Personalizar el diseño y estilo de la consola de DMS .

1. Inicie sesión en la consola de DMS.

2. En la barra de navegación superior, pase el puntero sobre Data + AI > DTS (DTS) > Data Migration.

3. En la lista desplegable a la derecha de Data Migration Tasks, seleccione la región donde residirá la instancia de migración.

Paso 2: Configurar las bases de datos de origen y destino

1. Haga clic en Create Task.

2. Introduzca un Task Name. DTS genera un nombre automáticamente; especifique un nombre descriptivo para facilitar la identificación posterior de la tarea.

3. Configure la base de datos de origen:

   Parameter	Description
   Select Existing Connection	Seleccione una instancia de base de datos registrada para completar automáticamente los parámetros siguientes, o déjelo en blanco e introduzca los detalles de conexión manualmente.
   Database Type	Seleccione TiDB.
   Access Method	Seleccione el método de acceso según dónde esté desplegado TiDB. Este ejemplo utiliza Self-managed Database on ECS. Para otros métodos de acceso, prepare primero el entorno necesario. Consulte Preparation overview.
   Instance Region	La región donde reside la base de datos TiDB.
   ECS Instance ID	El ID de la instancia de ECS que aloja TiDB.
   Port Number	El puerto del servicio TiDB. Valor predeterminado: 4000.
   Database Account	La cuenta de la base de datos TiDB.
   Database Password	La contraseña de la cuenta de la base de datos.
   Migrate Incremental Data	Seleccione Yes si desea realizar una migración incremental de datos y luego introduzca los detalles del clúster de Kafka en la sección Kafka cluster configuration.

4. Configure la base de datos de destino:

   Parameter	Description
   Select Existing Connection	Seleccione una instancia registrada para completar automáticamente los parámetros siguientes, o déjelo en blanco e introduzca los detalles de conexión manualmente.
   Database Type	Seleccione AnalyticDB for MySQL 3.0.
   Access Method	Seleccione Alibaba Cloud Instance.
   Instance Region	La región donde reside el clúster de destino.
   Instance ID	El ID del clúster de destino de AnalyticDB for MySQL V3.0.
   Database Account	La cuenta de la base de datos para el clúster de destino. Consulte Permisos obligatorios.
   Database Password	La contraseña de la cuenta de la base de datos.

5. Haga clic en Test Connectivity and Proceed. En el cuadro de diálogo CIDR Blocks of DTS Servers, haga clic en Test Connectivity.

   Los bloques CIDR de DTS deben agregarse a la configuración de seguridad tanto de la base de datos de origen como de la de destino. Consulte Agregar los bloques CIDR de los servidores DTS .

Paso 3: Configurar los objetos a migrar

En la página Configure Objects, establezca los siguientes parámetros:

Haga clic en Next: Advanced Settings.

Paso 4: Configurar ajustes avanzados

Paso 5: Configurar la verificación de datos (opcional)

Haga clic en Next Step: Data Verification para configurar una tarea de verificación de datos. Consulte Configurar una tarea de verificación de datos.

Paso 6: Configurar campos de bases de datos y tablas (opcional)

Haga clic en Next: Configure Database and Table Fields para establecer el Type, Primary Key Column, Distribution Key, Partition Key, Partitioning Rules y Partition Lifecycle para las tablas de destino.

Este paso está disponible solo si se selecciona Schema Migration . Establezca Definition Status en All para ver y editar todas las tablas. Para formar una clave primaria compuesta, especifique varias columnas en Primary Key Column y designe una o más como Distribution Key y Partition Key . Consulte CREATE TABLE .

Paso 7: Ejecutar la comprobación previa

Haga clic en Next: Save Task Settings and Precheck.

Para ver los parámetros de API de esta configuración de tarea, pase el cursor sobre el botón y haga clic en Preview OpenAPI parameters antes de continuar.

DTS ejecuta una comprobación previa antes de iniciar la migración. Si la comprobación previa falla:

• Haga clic en View Details junto al elemento fallido, resuelva el problema y haga clic en Precheck Again.

• Para elementos de alerta que puedan ignorarse de forma segura, haga clic en Confirm Alert Details > Ignore > OK y luego haga clic en Precheck Again. Ignorar alertas puede resultar en inconsistencia de datos.

Paso 8: Adquirir una instancia e iniciar la tarea

1. Espere hasta que Success Rate alcance el 100% y luego haga clic en Next: Purchase Instance.

2. En la página Purchase Instance, configure lo siguiente:

   Parameter	Description
   Resource Group	El resource group para la instancia de migración. Valor predeterminado: default resource group. Consulte ¿Qué es Resource Management?.
   Instance Class	La clase de instancia determina la velocidad de migración. Consulte Clases de instancias de migración de datos.

3. Lea y acepte los Data Transmission Service (Pay-as-you-go) Service Terms.

4. Haga clic en Buy and Start y luego haga clic en OK en el cuadro de diálogo de confirmación.

Monitoree el progreso de la tarea en la página Data Migration.

• Las tareas sin migración incremental se detienen automáticamente al finalizar. El estado muestra Completed.

• Las tareas con migración incremental se ejecutan continuamente. El estado muestra Running. Detenga la tarea manualmente después del traspaso.