ApsaraDB for OceanBase (Deprecated):Migrar datos de una base de datos MySQL a una base de datos OceanBase en modo compatible con MySQL

Requisitos previos

• El servicio de transmisión de datos debe tener privilegios para acceder a los recursos en la nube. Para obtener más información, consulte Grant privileges to roles for data transmission.

• Debe haber creado usuarios de base de datos dedicados a la migración de datos tanto para la base de datos MySQL de origen como para la base de datos OceanBase de destino en modo compatible con MySQL, y haberles otorgado los privilegios necesarios. Para obtener más información, consulte Configure user privileges for a data source.

• Los binlogs deben estar habilitados. Para obtener más información sobre los binlogs en una instancia de ApsaraDB RDS for MySQL, consulte Manage binary log files.. Para obtener más información sobre los binlogs en una instancia de PolarDB for MySQL, consulte Enable binary logging.

Limitaciones

• Limitaciones de la base de datos de origen

  No ejecute operaciones DDL que modifiquen los esquemas de la base de datos o de las tablas durante la migración del esquema o la migración completa. De lo contrario, la tarea de migración de datos podría interrumpirse.

• El servicio de transmisión de datos es compatible con MySQL 5.5, 5.6, 5.7 y 8.0.

• El servicio de transmisión de datos solo admite el motor de almacenamiento InnoDB de MySQL y no está disponible para otros motores.

  Nota

  Admite los motores de almacenamiento InnoDB y X-Engine para instancias de RDS for MySQL.

• El servicio de transmisión de datos no admite campos de índice con una longitud superior a 767 bytes (o 191 caracteres) en bases de datos MySQL.

• El servicio de transmisión de datos no admite la migración de claves externas CASCADE para la base de datos MySQL de origen.

• El servicio de transmisión de datos solo admite la migración de un objeto cuando se cumplen las siguientes condiciones: el nombre de la base de datos, el nombre de la tabla y el nombre de la columna del objeto están codificados en ASCII sin caracteres especiales. Los caracteres especiales incluyen saltos de línea, espacios y los siguientes símbolos: . | " ' ` ( ) = ; / & \.

• La verificación previa falla si la clave principal es de tipo de datos FLOAT o DOUBLE. Se recomienda no especificar una columna con este tipo de dato como clave principal.

• El servicio de transmisión de datos no admite triggers en el destino cuando este es una base de datos. Si existen triggers, la migración de datos podría fallar.

• El reloj de la base de datos de origen debe estar sincronizado con el de la base de datos de destino.

• La base de datos RDS for MySQL y la VPC donde se encuentra la base de datos autogestionada deben estar en la misma región que la base de datos OceanBase.

Consideraciones

• El host de la base de datos MySQL debe contar con suficiente ancho de banda de salida. Un ancho de banda de salida insuficiente en el host ralentizará el análisis de registros y la migración de datos, lo que puede aumentar la latencia de la sincronización.

• Tenga en cuenta las siguientes consideraciones si las bases de datos de origen y destino utilizan intercalaciones diferentes:

  • Los datos en la base de datos de destino podrían ser inconsistentes con los de la base de datos de origen después de la sincronización. Por ejemplo, si la intercalación de la base de datos de origen es utf8mb4_0900_ai_ci y la del destino es utf8mb4_general_ci, dos registros de datos A y A no podrán escribirse simultáneamente en la base de datos de destino, lo que provocará pérdida de datos.**

  • Se detectará inconsistencia de datos durante la verificación de una tabla que utilice una columna de tipo VARCHAR como clave principal.

• Si los relojes entre nodos o entre el cliente y el servidor no están sincronizados, la latencia podría ser inexacta durante la sincronización incremental o el incremento inverso.

  Por ejemplo, si el reloj está atrasado respecto a la hora estándar, la latencia puede ser negativa. Si el reloj está adelantado, la latencia puede ser positiva.

• Si se requiere análisis incremental para la base de datos MySQL, debe especificar el ID del servidor MySQL (server_id).

• Si modifica un índice único en el destino mientras la sincronización DDL está deshabilitada, debe reiniciar la tarea de migración de datos para evitar inconsistencias.

• Compruebe si la precisión de migración del servicio de transmisión de datos para columnas con tipos de datos como DECIMAL, FLOAT y DOUBLE es la esperada. Si la precisión del tipo de campo de destino es menor que la del tipo de campo de origen, el valor con mayor precisión podría truncarse. Esto puede provocar inconsistencia de datos entre los campos de origen y destino.

• Si la instancia de origen es una base de datos RDS for MySQL de solo lectura, la verificación previa mostrará una advertencia que indica el riesgo de consumo de registros incrementales.

• Tenga en cuenta las siguientes consideraciones si desea agregar varias tablas:

  • Se recomienda configurar las asignaciones entre el origen y el destino mediante reglas de coincidencia.

  • Se recomienda crear manualmente los esquemas en el destino. Si crea un esquema mediante el servicio de transmisión de datos, omita los objetos con errores en el paso de migración de esquema.

• Una diferencia entre los esquemas de las tablas de origen y destino puede afectar la consistencia de los datos. A continuación se describen algunos escenarios conocidos:

  • Al crear manualmente un esquema de tabla en el destino, si el tipo de dato de alguna columna no es compatible con el servicio de transmisión de datos, podría producirse una conversión implícita de tipos en el destino, lo que causaría tipos de columna inconsistentes entre el origen y el destino.

  • Si la longitud de una columna en el destino es menor que en el origen, los datos de dicha columna podrían truncarse automáticamente, causando inconsistencia entre el origen y el destino.

• Tenga en cuenta las siguientes consideraciones relacionadas con los conjuntos de caracteres:

  • El conjunto de caracteres utf8mb3 utilizado en la base de datos de origen cambiará a utf8mb4 después de migrar los datos a la base de datos de destino.

  • Cuando el destino es OceanBase Database V4.1.0 o posterior en modo compatible con MySQL, el conjunto de caracteres Latin1 utilizado en la base de datos de origen puede conservarse tras la migración al destino.

• Si selecciona únicamente Incremental Synchronization al crear la tarea de migración de datos, el servicio de transmisión de datos requiere que los registros incrementales locales de la base de datos de origen se conserven durante al menos 48 horas.

  Si selecciona Full Migration e Incremental Synchronization al crear la tarea de migración de datos, el servicio de transmisión de datos requiere que los registros incrementales locales de la base de datos de origen se conserven durante al menos 7 días. Si el servicio no puede obtener los registros incrementales, la tarea de migración podría fallar o incluso provocar inconsistencia de datos entre el origen y el destino después de la migración.

• Si la base de datos MySQL contiene dos o más clústeres principales, establezca el parámetro log_slave_updates en ON. De lo contrario, la fuente de datos no podrá recibir todos los binlogs, lo que podría provocar pérdida de datos.

• Si el origen o el destino contienen objetos de tabla que difieren únicamente en mayúsculas y minúsculas, los resultados de la migración podrían no ser los esperados debido a la insensibilidad a mayúsculas/minúsculas en el origen o el destino.

Tipos de instancias de origen y destino compatibles

En la siguiente tabla, OceanBase Database en modo compatible con MySQL se denomina OB_MySQL, que admite instancias de clúster de OceanBase, instancias de inquilino de OceanBase Database e instancias serverless.

Asignaciones de tipos de datos

Procedimiento

1. Inicie sesión en ApsaraDB for OceanBase console

   y adquiera una tarea de migración de datos.

   Para obtener más información, consulte Purchase a data migration task.

2. Seleccione Data Transmission > Data Migration. En la página que aparece, haga clic en Configuration para la tarea de migración de datos.

   

   Si desea utilizar la configuración de una tarea existente como referencia, haga clic en Reference Configuration. Para obtener más información, consulte Reference the configuration of a data migration task.

3. En la página Select Source and Target, configure los parámetros.

   Parámetro	Descripción
   Migration Task Name	Se recomienda establecer una combinación de dígitos y letras. No debe contener espacios ni exceder los 64 caracteres de longitud.
   Source	Si ya creó un origen de datos MySQL, selecciónelo de la lista desplegable. De lo contrario, haga clic en New Data Source en la lista desplegable y cree uno en el cuadro de diálogo que aparece a la derecha. Para obtener más información sobre los parámetros, consulte Create a MySQL data source.
   Target	Si ya creó un origen de datos OceanBase en modo compatible con MySQL, selecciónelo de la lista desplegable. De lo contrario, haga clic en New Data Source en la lista desplegable y cree uno en el cuadro de diálogo que aparece a la derecha. Para obtener más información sobre los parámetros, consulte Create an OceanBase data source.
   Tag (Optional)	Seleccione una etiqueta de destino de la lista desplegable. También puede hacer clic en Manage Tags para crear, modificar y eliminar etiquetas. Para obtener más información, consulte Use tags to manage data migration tasks.

4. Haga clic en Next. En la página Select Migration Type, seleccione One-way Synchronization para Synchronous Topology.

   El servicio de transmisión de datos admite sincronización unidireccional y bidireccional. Este tema describe cómo configurar una tarea de sincronización unidireccional. Para obtener información sobre la sincronización bidireccional, consulte Configure a two-way synchronization task.

5. Seleccione un tipo para la tarea de migración de datos actual.

   Si selecciona One-way Synchronization para Synchronous Topology, los tipos de migración compatibles son: migración de esquema, migración completa, sincronización incremental, verificación completa e incremento inverso.

   

   Tipo de migración	Descripción
   Migración de esquema	Una vez iniciada la tarea de migración de esquema, el servicio de transmisión de datos migra las definiciones de los objetos de la base de datos (como tablas, índices, restricciones, comentarios y vistas) desde la base de datos de origen hacia la base de datos de destino, y filtra automáticamente las tablas temporales. Durante la migración de esquema desde una base de datos MySQL hacia una base de datos OceanBase en modo compatible con MySQL, se pueden crear automáticamente las bases de datos que no existen en el destino.
   Migración completa	Una vez iniciada la tarea de migración completa, el servicio de transmisión de datos migra los datos existentes de las tablas en la base de datos de origen hacia las tablas correspondientes en la base de datos de destino. Si selecciona Full Migration, se recomienda utilizar la sentencia ANALYZE para recopilar las estadísticas de la base de datos MySQL antes de la migración de datos.
   Sincronización incremental	Una vez iniciada la tarea de sincronización incremental, el servicio de transmisión de datos sincroniza los datos modificados (datos agregados, modificados o eliminados) desde la base de datos de origen hacia las tablas correspondientes en la base de datos de destino. Las opciones para Incremental Synchronization son DML Synchronization y DDL Synchronization. Puede seleccionar las opciones según sus necesidades. Para obtener más información, consulte Configure DDL/DML synchronization. Incremental Synchronization tiene las siguientes limitaciones: Si selecciona DDL Synchronization, al realizar una operación DDL no admitida por el servicio de transmisión de datos en la base de datos de origen, la migración de datos podría interrumpirse. Si la operación DDL es ADD COLUMN, se recomienda configurar la columna como NULL. De lo contrario, la migración de datos podría interrumpirse.
   Verificación completa	Una vez completadas las tareas de migración completa y sincronización incremental, el servicio de transmisión de datos inicia automáticamente una tarea de verificación completa para validar las tablas en las bases de datos de origen y destino. Si seleccionó Full Verification, se recomienda recopilar las estadísticas de la base de datos MySQL y de la base de datos OceanBase en modo compatible con MySQL antes de la verificación completa. Si seleccionó Incremental Synchronization pero no seleccionó todas las operaciones DML en la sección DML Synchronization, el servicio de transmisión de datos no admite la verificación completa. El servicio de transmisión de datos solo admite la verificación completa para tablas con clave primaria o clave única no nula.
   Incremento inverso	Los cambios de datos realizados en la base de datos de destino después del cambio de base de datos de negocio se sincronizan con la base de datos de origen en tiempo real mediante incremento inverso. Por lo general, las configuraciones de sincronización incremental se reutilizan para el incremento inverso. También puede personalizar las configuraciones para el incremento inverso según sea necesario.

6. Haga clic en Next. En la página Select Migration Objects, especifique los objetos de migración para la tarea de migración de datos.

   Puede seleccionar Specify Objects o Match Rules para especificar los objetos de migración. Este tema describe cómo usar Specify Objects para especificar los objetos de migración. Para obtener información sobre las reglas de coincidencia, consulte "Patrones de comodín para migración/sincronización de datos entre bases de datos" en Configure and modify matching rules.

   Importante

   • Los nombres de las tablas a migrar, así como los nombres de las columnas en dichas tablas, no deben contener caracteres chinos.

   • Si el nombre de una base de datos o tabla contiene signos de dólar dobles ($$), no podrá crear la tarea de migración.

   • Si seleccionó DDL Synchronization en la página Select Migration Type, se recomienda seleccionar los objetos de migración mediante la opción Match Rules. De este modo, todos los objetos nuevos que cumplan con las reglas de migración se sincronizarán. Si selecciona los objetos de migración mediante la opción Specify Objects, los objetos nuevos o renombrados no se sincronizarán.

   

   1. En la sección Select Migration Objects, seleccione Specify Objects.

   2. In the Source Object(s) list of the En la sección Specify Migration Scope, select the objects to migrate. You can select tables and views of one or more databases.

   3. Click > to add them to the Target Object(s) list.

   El servicio de transmisión de datos permite importar objetos desde archivos de texto, cambiar el nombre de los objetos de destino, establecer filtros de filas, consultar información de columnas y eliminar uno o todos los objetos de migración.

   Nota

   Cuando selecciona Match Rules para especificar objetos de migración, el cambio de nombre de objetos se implementa según la sintaxis de las reglas de coincidencia especificadas. En el área de operaciones, solo puede establecer condiciones de filtro. Para obtener más información, consulte Configure and modify matching rules.

   Operación	Descripción
   Importar objetos	En la lista de la derecha, haga clic en Import Objects en la esquina superior derecha. En el cuadro de diálogo que aparece, haga clic en OK. Importante Esta operación sobrescribirá las selecciones anteriores. Proceda con precaución. En el cuadro de diálogo Import Objects, importe los objetos a migrar. Puede importar archivos CSV para cambiar el nombre de bases de datos o tablas y establecer condiciones de filtro de filas. Para obtener más información, consulte Download and import the settings of migration objects. Haga clic en Validate. Después de importar los objetos de migración, compruebe su validez. Actualmente no se admite la asignación de campos de columna. Una vez validada correctamente la importación, haga clic en OK.
   Cambiar nombre de objetos	El servicio de transmisión de datos permite cambiar el nombre de los objetos de migración. Para obtener más información, consulte Rename a database table.
   Configurar ajustes	El servicio de transmisión de datos permite filtrar filas mediante condiciones WHERE. Para obtener más información, consulte Use SQL conditions to filter data. También puede consultar la información de columnas de los objetos de migración en la sección View Columns.
   Eliminar uno o todos los objetos	El servicio de transmisión de datos permite eliminar uno o todos los objetos de sincronización agregados a la lista de la derecha durante la asignación de datos. Eliminar un solo objeto de migración En la lista de la derecha, pase el puntero sobre el objeto que desea eliminar y haga clic en Remove para quitar el objeto de migración. Eliminar todos los objetos de migración En la lista de la derecha, haga clic en Remove All en la esquina superior derecha. En el cuadro de diálogo que aparece, haga clic en OK para eliminar todos los objetos de migración.

7. Haga clic en Next. En la página Migration Options, configure los parámetros.

   • Migración completa

     La siguiente tabla describe los parámetros para la migración completa, los cuales se muestran únicamente si seleccionó One-way Synchronization y Full Migration en secuencia dentro de la página Select Migration Type.

     

     Parámetro	Descripción
     Read Concurrency	La concurrencia para leer datos del origen durante la migración completa. El valor máximo es 512. Una concurrencia de lectura alta puede generar una carga excesiva en el origen y afectar al negocio.
     Write Concurrency	La concurrencia para escribir datos en el destino durante la migración completa. El valor máximo es 512. Una concurrencia de escritura alta puede generar una carga excesiva en el destino y afectar al negocio.
     Full Migration Rate Limit	Puede elegir si limitar la tasa de migración completa según sea necesario. Si decide limitarla, debe especificar los registros por segundo (RPS) y los bytes por segundo (BPS). El RPS indica el número máximo de filas de datos migradas al destino por segundo durante la migración completa, y el BPS indica la cantidad máxima de datos en bytes migrados al destino por segundo durante la migración completa. Nota Los valores de RPS y BPS especificados aquí son solo para limitar la velocidad. El rendimiento real de la migración completa depende de factores como la configuración del origen y del destino, así como de las especificaciones de la instancia.
     Handle Non-empty Tables in Target Database	Los valores válidos son Ignore y Stop Migration. Si selecciona Ignore, cuando los datos a insertar entran en conflicto con datos existentes en una tabla de destino, el servicio de transmisión de datos registra los datos conflictivos y conserva los datos existentes. Importante Si selecciona Ignore, los datos se extraen en modo IN durante la verificación completa. En este caso, la verificación no aplica si el destino contiene datos que no existen en el origen, y el rendimiento de la verificación disminuye. Si selecciona Stop Migration y una tabla de destino contiene registros, se reportará un error indicando que la migración no es compatible durante la migración completa. En este caso, debe procesar los datos en la tabla de destino antes de continuar con la migración. Importante Si hace clic en Resume en el cuadro de diálogo que muestra el error, el servicio de transmisión de datos ignorará este error y continuará migrando datos. Proceda con precaución.
     Post-Indexing	Especifica si se deben crear índices después de completar la migración completa. La indexación posterior puede reducir el tiempo requerido para la migración completa. Para obtener más información sobre las consideraciones de la indexación posterior, consulte la descripción a continuación. Importante Este parámetro se muestra únicamente si seleccionó tanto Schema Migration como Full Migration en la página Select Migration Type. Solo se pueden crear índices de clave no única después de completar la migración. Si la base de datos OceanBase de destino devuelve el siguiente error durante la creación del índice, el servicio de transmisión de datos ignora el error y determina que el índice se creó correctamente, sin volver a crearlo. Mensaje de error en una base de datos OceanBase en modo compatible con MySQL: Duplicate key name. Mensaje de error en una base de datos OceanBase en modo compatible con Oracle: name is already used by an existing object. Si el destino es una base de datos OceanBase y selecciona Allow para este parámetro, deberá configurar los siguientes parámetros: DDL Concurrency for Single Index: el número máximo de operaciones DDL simultáneas permitidas para un solo índice. Un valor mayor implica un mayor consumo de recursos y una migración de datos más rápida. Maximum DDL Concurrency for Indexes: el número máximo de operaciones DDL de indexación posterior que el sistema puede invocar a la vez.

     Si se permite la indexación posterior, se recomienda utilizar un cliente CLI para modificar los siguientes parámetros para los tenants de negocio, basándose en las condiciones de hardware de OceanBase Database y en el tráfico actual de su negocio:

     // Specify the limit on the file memory buffer size.
     alter system set _temporary_file_io_area_size = '10' tenant = 'xxx'; 
     // Disable throttling in OceanBase Database V4.x.
     alter system set sys_bkgd_net_percentage = 100;  

   • Sincronización incremental

     Los siguientes parámetros se muestran únicamente si seleccionó One-way Synchronization y Incremental Synchronization en secuencia dentro de la página Select Migration Type.

     

     Parámetro	Descripción
     Write Concurrency	La concurrencia para escribir datos en el destino durante la sincronización incremental. El valor máximo es 512. Una concurrencia de escritura alta puede generar una carga excesiva en el destino y afectar al negocio.
     Incremental Synchronization Rate Limit	Puede elegir si limitar la tasa de sincronización incremental según sea necesario. Si decide limitarla, debe especificar los registros por segundo (RPS) y los bytes por segundo (BPS). El RPS indica el número máximo de filas de datos sincronizadas con el destino por segundo durante la sincronización incremental, y el BPS indica la cantidad máxima de datos en bytes sincronizados con el destino por segundo durante la sincronización incremental. Nota Los valores de RPS y BPS especificados aquí son solo para limitar la velocidad. El rendimiento real de la sincronización incremental depende de factores como la configuración del origen y del destino, así como de las especificaciones de la instancia.
     Incremental Synchronization Start Timestamp	Este parámetro no se muestra si seleccionó Full Migration en la página Select Migration Type. Si seleccionó Incremental Synchronization pero no Full Migration, especifique un punto en el tiempo a partir del cual se sincronizarán los datos. El valor predeterminado es la hora actual del sistema. Para obtener más información, consulte Set an incremental synchronization timestamp.

   • Incremento inverso

     Los siguientes parámetros se muestran únicamente si seleccionó One-way Synchronization y Reverse Increment en secuencia dentro de la página Select Migration Type. De forma predeterminada, las configuraciones de sincronización incremental se reutilizan para la sincronización incremental inversa.

     

     Puede optar por no reutilizar las configuraciones de sincronización incremental y configurar la sincronización incremental inversa según sea necesario.

     Parámetro	Descripción
     Write Concurrency	La concurrencia para escribir datos en el origen durante la sincronización incremental inversa. El valor máximo es 512. Una concurrencia alta puede generar una carga excesiva en el origen y afectar al negocio.
     Reverse Increment Rate Limit	Puede elegir si limitar la tasa de sincronización incremental inversa según sea necesario. Si decide limitarla, debe especificar las solicitudes por segundo (RPS) y los bytes por segundo (BPS). El RPS indica el número máximo de filas de datos sincronizadas con el origen por segundo durante la sincronización incremental inversa, y el BPS indica la cantidad máxima de datos en bytes sincronizados con el origen por segundo durante la sincronización incremental inversa. Nota Los valores de RPS y BPS especificados aquí son solo para limitar la velocidad. El rendimiento real de la sincronización incremental inversa depende de factores como la configuración del origen y del destino, así como de las especificaciones de la instancia.
     Incremental Synchronization Start Timestamp	Este parámetro no se muestra si seleccionó Full Migration en la página Select Migration Type. Si seleccionó Incremental Synchronization pero no Full Migration, se utiliza de forma predeterminada la marca de tiempo de inicio del cambio directo (si existe). Este parámetro no se puede modificar.

   • Parámetros avanzados

     Los parámetros de esta sección se muestran únicamente cuando el destino es OceanBase Database V4.3.0 o posterior en modo compatible con MySQL, y usted ha seleccionado Schema Migration o ha seleccionado DDL Synchronization para Incremental Synchronization en la página Select Migration Type.

     

     Los tipos de almacenamiento admitidos para los objetos de tabla de destino son Default, Row storage, Column storage y Hybrid columnar storage. Para obtener más información, consulte default_table_store_format.

     Nota

     El valor Default significa que otros parámetros se configuran automáticamente según las configuraciones de parámetros del destino. Los objetos de tabla en la migración de esquema y los nuevos objetos de tabla en la sincronización DDL incremental se escriben en los esquemas correspondientes según el tipo de almacenamiento especificado.

8. Haga clic en Precheck para iniciar una comprobación previa de la tarea de migración de datos.

   Durante la comprobación previa , el servicio de transmisión de datos verifica los privilegios de lectura y escritura de los usuarios de la base de datos y las conexiones de red de las bases de datos. Una tarea de sincronización de datos solo puede iniciarse después de aprobar todos los elementos de comprobación. Si se devuelve un error durante la comprobación previa, puede realizar las siguientes operaciones:

   • Identifique y solucione el problema, y luego vuelva a realizar la comprobación previa.

   • Haga clic en Skip en la columna Actions del elemento de comprobación previa fallido. En el cuadro de diálogo que advierte sobre las consecuencias de la operación, haga clic en OK.

9. Una vez aprobada la comprobación previa, haga clic en Start Task.

   Si no necesita iniciar la tarea ahora, haga clic en Save. Puede iniciar la tarea más tarde en la página Migration Tasks o mediante operaciones por lotes. Para obtener más información sobre las operaciones por lotes, consulte Perform batch operations on data migration tasks.

   El servicio de transmisión de datos permite modificar los objetos de migración y sus condiciones de filtrado de filas mientras se ejecuta una tarea de migración. Para obtener más información, consulte View and modify migration objects and their filter conditions. Una vez iniciada la tarea de migración de datos, se ejecuta según los tipos de migración seleccionados. Para obtener más información, consulte View migration details.

Referencias

• Create a MySQL data source

• Create an OceanBase data source

• Configure and modify matching rules

• View details of a data migration task