ApsaraDB for OceanBase (Deprecated):Migración de datos de una base de datos PolarDB-X 1.0 a un inquilino MySQL de OceanBase Database

Contexto

PolarDB-X 1.0 is a cloud-native distributed database developed in house by Alibaba Group. It is integrated with a distributed SQL engine and an exclusively developed distributed storage X-DB and is designed based on the cloud-native integrated architecture. PolarDB-X 1.0 supports over ten million concurrent requests and provides a large storage capacity for hundreds of petabytes of data. For more information, see Product overview.

After the task that migrates data from a PolarDB-X 1.0 database to a MySQL tenant of OceanBase Database is successfully started, the task will be automatically deleted. El servicio de transmisión de datos crea automáticamente tareas para migrar la información de las bases de datos MySQL montadas en la base de datos PolarDB-X 1.0 hacia el inquilino MySQL de OceanBase Database. The number of tasks depends on the number of underlying MySQL instances in the PolarDB-X 1.0 database.

Se recomienda filtrar las tareas por etiqueta o nombre de tarea para realizar operaciones en lote, como inicio, pausa o conmutación por error directa. Para obtener más información sobre las operaciones en lote, consulte Perform batch operations on data migration tasks.

Requisitos previos

• El servicio de transmisión de datos debe tener privilegios para acceder a los recursos en la nube. Para obtener más información, consulte Role authorization for data transmission and migration.

• Debe haber creado usuarios de base de datos dedicados para la migración de datos tanto en la base de datos origen PolarDB-X 1.0 como en el inquilino destino MySQL de OceanBase Database, y haber otorgado los privilegios correspondientes a dichos usuarios.

Limitaciones

• Limitaciones de la base de datos origen

  No ejecute operaciones DDL que modifiquen esquemas de bases de datos o tablas durante la migración completa. De lo contrario, la tarea de migración de datos podría interrumpirse.

• El servicio de transmisión de datos admite bases de datos PolarDB-X 1.0 en las versiones 5.2.8, 5.4.2, 5.4.9 y 5.4.12.

• El servicio de transmisión de datos es compatible con bases de datos MySQL en las versiones 5.5, 5.6, 5.7 y 8.0 que sean compatibles con las instancias de ApsaraDB RDS for MySQL montadas en bases de datos PolarDB-X 1.0, así como con instancias estándar de ApsaraDB RDS for MySQL y PolarDB for MySQL.

• El servicio de transmisión de datos solo admite la migración de un objeto cuando se cumplen las siguientes condiciones: el nombre de la base de datos, el nombre de la tabla y el nombre de la columna del objeto están codificados en ASCII sin caracteres especiales. Los caracteres especiales incluyen saltos de línea, espacios y los siguientes símbolos: . | " ' ` ( ) = ; / & \.

• Al migrar datos de una base de datos PolarDB-X 1.0 a un inquilino MySQL de OceanBase Database, el servicio de transmisión de datos no admite los siguientes casos:

  • Migración de esquema o sincronización incremental inversa

  • Migración entre cuentas de Alibaba Cloud

  • Migración de vistas

  • Nombres de usuario o contraseñas inconsistentes en las instancias de ApsaraDB RDS for MySQL montadas en la base de datos origen PolarDB-X 1.0

• OceanBase Database admite los conjuntos de caracteres UTF8MB4, GBK, GB18030, binary y UTF-16.

Consideraciones

• Para la migración de tablas sin claves únicas (tablas con claves primarias o claves únicas NOT NULL), al reiniciar o restaurar la migración completa, el servicio de transmisión de datos trunca automáticamente las tablas destino que se sincronizaron antes del reinicio o la reanudación. Sin embargo, en una tarea de migración de datos que transfiere tablas sin claves únicas desde una base de datos ApsaraDB RDS for MySQL montada en PolarDB-X 1.0 hacia un inquilino MySQL de OceanBase Database, el servicio no trunca automáticamente las tablas destino al reiniciar o restaurar la migración completa.

• Si no especifica asignaciones para los objetos de la base de datos PolarDB-X 1.0, todos los datos de las tablas físicas se sincronizan con tablas físicas del mismo nombre en el destino.

• Una diferencia entre los esquemas de las tablas origen y destino puede afectar la consistencia de los datos. A continuación se describen algunos escenarios conocidos:

  • Si crea manualmente un esquema de tabla en el destino y el tipo de dato de alguna columna no es compatible con el servicio de transmisión de datos, podría producirse una conversión implícita de tipos de datos en el destino, lo que provocaría inconsistencias en los tipos de columnas entre las bases de datos origen y destino.

  • Si la longitud de una columna en el destino es menor que en la base de datos origen, los datos de dicha columna podrían truncarse automáticamente, causando inconsistencia de datos entre las bases de datos origen y destino.

• Si seleccionó únicamente Incremental Synchronization al crear la tarea de migración de datos, el servicio de transmisión de datos requiere que los registros incrementales locales de la base de datos origen se conserven durante al menos 48 horas.

  Si seleccionó Full Migration e Incremental Synchronization al crear la tarea de migración de datos, el servicio de transmisión de datos requiere que los registros incrementales locales de la base de datos origen se conserven durante al menos 7 días. Si el servicio de transmisión de datos no puede obtener los registros incrementales, la tarea de migración podría fallar o incluso generar inconsistencias en los datos entre las bases de datos origen y destino después de la migración.

• Si la base de datos origen o destino contiene objetos de tabla que difieren solo en mayúsculas y minúsculas, los resultados de la migración podrían no ser los esperados debido a la insensibilidad a mayúsculas/minúsculas en la base de datos origen o destino.

Tipos de instancias origen y destino compatibles

En la siguiente tabla, OB_MySQL representa al inquilino MySQL de OceanBase Database.

Procedimiento

1. Inicie sesión en OceanBase Management Console y adquiera una tarea de migración de datos.

   Para obtener más información, consulte Purchase a data migration task.

2. En la página Data Transmission > Data Migration, haga clic en Configure para su nueva tarea de migración de datos.

   

   Para usar la configuración de una tarea existente, haga clic en Reference Configuration. Para obtener más información, consulte Reference a data migration task configuration.

3. En la página Select Source and Target, configure los parámetros.

   Parámetro	Descripción
   Migration Task Name	Se recomienda establecer una combinación de dígitos y letras. No debe contener espacios ni exceder los 64 caracteres de longitud.
   Source	Si ya creó un origen de datos PolarDB-X 1.0, selecciónelo de la lista desplegable. De lo contrario, haga clic en New Data Source en la lista desplegable y cree uno en el cuadro de diálogo que aparece a la derecha. Para obtener más información sobre los parámetros, consulte Create a PolarDB-X 1.0 data source.
   Target	Si ya creó un origen de datos para el inquilino MySQL de OceanBase Database, selecciónelo de la lista desplegable. De lo contrario, haga clic en New Data Source en la lista desplegable y cree uno en el cuadro de diálogo que aparece a la derecha. Para obtener más información sobre los parámetros, consulte Create an OceanBase data source.
   Tag	Seleccione una etiqueta destino de la lista desplegable. También puede hacer clic en Manage Tags para crear, modificar y eliminar etiquetas. Para obtener más información, consulte Manage data migration tasks with tags. Nota Después de iniciar correctamente la tarea de migración de datos de una base de datos PolarDB-X 1.0 a un inquilino MySQL de OceanBase Database, la tarea se eliminará automáticamente. Es necesario agregar una etiqueta adecuada a la tarea.

4. Haga clic en Next. En la página Select Migration Type, especifique los tipos de migración para la tarea actual.

   Los tipos de migración admitidos son migración completa, sincronización incremental y verificación completa.

   Tipo de migración	Descripción
   Full migration	Una vez iniciada la tarea de migración completa, el servicio de transmisión de datos migra los datos existentes de las tablas en la base de datos origen hacia las tablas correspondientes en la base de datos destino. Antes de la migración de datos, evalúe el rendimiento de las bases de datos origen y destino. Se recomienda realizar la migración en horarios de baja demanda. Durante la migración completa, el servicio de transmisión de datos consume recursos de lectura y escritura en las bases de datos origen y destino, lo que podría aumentar la carga de las mismas. Para obtener más información, consulte Performance assessment of migration assessment.
   Incremental synchronization	Una vez iniciada la tarea de sincronización incremental, el servicio de transmisión de datos sincroniza los datos modificados (datos agregados, modificados o eliminados) desde la base de datos origen hacia las tablas correspondientes en la base de datos destino. La sincronización incremental admite las siguientes operaciones DML: Insert, Delete y Update. Puede seleccionar las sentencias según sus necesidades empresariales. Para obtener más información, consulte Configure DDL/DML synchronization.
   Full verification	Una vez completadas las tareas de migración completa y sincronización incremental, el servicio de transmisión de datos inicia automáticamente una tarea de verificación completa para validar las tablas en las bases de datos origen y destino. Si seleccionó Incremental Synchronization pero no eligió todas las sentencias DML en la sección DML Synchronization, el servicio de transmisión de datos no admite la verificación completa. Antes de la migración de datos, evalúe el rendimiento de las bases de datos origen y destino. Se recomienda realizar la migración en horarios de baja demanda. Durante la verificación completa, el servicio de transmisión de datos consume recursos de lectura en las bases de datos origen y destino, lo que podría aumentar la carga de las mismas.

5. Haga clic en Next. En la página Select Migration Objects, especifique los objetos de migración para la tarea.

   Actualmente, solo puede seleccionar objetos de migración mediante la opción Specify Objects. Seleccione los objetos a migrar en la izquierda y haga clic en > para agregarlos a la lista de la derecha. Puede seleccionar tablas de una o más bases de datos como objetos de migración.

   El servicio de transmisión de datos permite importar objetos desde archivos de texto, cambiar el nombre de los objetos destino, establecer filtros de fila, consultar información de columnas y eliminar objetos de migración individuales o todos a la vez.

   

   Operación	Descripción
   Import Object	En la lista a la derecha del área de selección, haga clic en Import Object en la esquina superior derecha. En el cuadro de diálogo que aparece, haga clic en OK. Importante La operación de importación sobrescribe las selecciones anteriores. Proceda con precaución. En el cuadro de diálogo Import Migration Objects, importe los objetos a migrar. Puede importar un archivo CSV para cambiar el nombre de las tablas de la base de datos, establecer condiciones de filtrado de filas y realizar otras operaciones. Para obtener más información, consulte Download and import migration object configurations. Haga clic en Check Validity. Después de importar los objetos de migración, compruebe primero su validez. Actualmente no se admite la asignación de campos de columna. Una vez superada la comprobación, haga clic en OK.
   Rename	Data Transmission Service permite cambiar el nombre de los objetos de migración. Para obtener más información, consulte Rename database and table objects.
   Settings	Data Transmission Service admite el filtrado de filas mediante condiciones WHERE. Para obtener más información, consulte Filter data with SQL conditions. También puede consultar la información de columnas de los objetos de migración en el área View Columns.
   Remove/Remove All	Data Transmission Service permite eliminar uno o varios objetos seleccionados temporalmente para el destino durante la asignación de datos. Eliminar un solo objeto de migración En la lista a la derecha del área de selección, pase el cursor sobre el objeto destino y haga clic en el botón Remove que se muestra para eliminar el objeto de migración. Eliminar todos los objetos de migración En la lista a la derecha del área de selección, haga clic en Remove All en la esquina superior derecha. En el cuadro de diálogo que aparece, haga clic en OK para eliminar todos los objetos de migración.

6. Haga clic en Next. En la página Migration Options, configure los parámetros.

   • Migración completa

     La siguiente tabla describe los parámetros de migración completa, que solo se muestran si seleccionó Full Migration en la página Select Migration Type.

     Parámetro	Descripción
     Read Concurrency	La concurrencia para leer datos del origen durante la migración completa. El valor máximo es 512. Una concurrencia de lectura alta puede generar una presión excesiva en el origen y afectar al negocio.
     Write Concurrency	La concurrencia para escribir datos en el destino durante la migración completa. El valor máximo es 512. Una concurrencia de escritura alta puede generar una presión excesiva en el destino y afectar al negocio.
     Full Migration Rate Limit	Puede elegir si limitar la tasa de migración completa según sea necesario. Si decide limitarla, debe especificar los registros por segundo (RPS) y los bytes por segundo (BPS). El RPS indica el número máximo de filas de datos migradas al destino por segundo durante la migración completa, y el BPS indica la cantidad máxima de datos en bytes migrados al destino por segundo durante la migración completa. Nota Los valores de RPS y BPS especificados aquí son solo para limitar la velocidad. El rendimiento real de la migración completa depende de factores como la configuración del origen y del destino, así como de las especificaciones de la instancia.
     Handle Non-empty Tables in Target Database	Valores válidos: Ignore y Stop Migration. Si selecciona Ignore, cuando los datos a insertar entran en conflicto con datos existentes en una tabla destino, el servicio de transmisión de datos registra los datos conflictivos y conserva los datos existentes. Importante Si selecciona Ignore, los datos se extraen en modo IN durante la verificación completa. En este caso, la verificación no aplica si el destino contiene datos que no existen en el origen, y el rendimiento de la verificación disminuye. Si selecciona Stop Migration y una tabla destino contiene registros, se reportará un error indicando que la migración no es compatible durante la migración completa. En este caso, debe procesar los datos en la tabla destino antes de continuar con la migración. Importante Si hace clic en Restore en el cuadro de diálogo que muestra el error, el servicio de transmisión de datos ignora este error y continúa migrando los datos. Proceda con precaución.

   • Sincronización incremental

     Los siguientes parámetros aparecen solo si selecciona Incremental Synchronization en la página Select Migration Types.

     

     Parámetro	Descripción
     Write Concurrency	Este parámetro especifica el número de hilos concurrentes para escribir datos en el destino durante la sincronización incremental. El valor máximo es 512. Un alto grado de concurrencia puede ejercer presión excesiva sobre el destino y afectar a sus servicios.
     Incremental Synchronization Rate Limit	Puede decidir si habilitar el límite de tasa de sincronización incremental según sea necesario. Si lo habilita, establezca RPS (el número máximo de filas de datos que se pueden sincronizar al destino por segundo durante la sincronización incremental) y BPS (el volumen máximo de datos que se puede sincronizar al destino por segundo durante la sincronización incremental). Nota Las configuraciones de RPS y BPS aquí solo sirven como capacidad de limitación de tasa. El rendimiento real de la sincronización incremental se ve afectado por factores como el origen, el destino y las especificaciones de la instancia.
     Incremental Synchronization Start Offset	Si selecciona Full Migration, este parámetro no se muestra. Si selecciona Incremental Synchronization pero no Full Migration, especifique un punto en el tiempo desde el cual comenzar a migrar los datos. El valor predeterminado es la hora actual del sistema. Para obtener más información, consulte Configure an incremental synchronization offset.

7. Haga clic en Precheck para realizar la comprobación previa de la tarea de migración de datos.

   En el paso Precheck, Data Transmission Service verifica si los elementos cumplen con los requisitos, tales como los permisos de lectura y escritura del usuario de la base de datos y la conectividad de red de la base de datos. Solo puede iniciar la tarea de migración de datos después de que todos los elementos de comprobación se superen. Si la comprobación previa falla:

   • Identifique y resuelva el problema, y luego ejecute la comprobación previa nuevamente hasta que se complete correctamente.

   • También puede hacer clic en Skip en la columna Actions para un elemento de comprobación previa fallido. Aparecerá un cuadro de diálogo que describe el impacto de omitir esta operación. Para continuar, haga clic en OK.

8. Una vez superada la comprobación previa, haga clic en Start Task.

   Si no necesita iniciar la tarea ahora, haga clic en Save. Puede iniciar la tarea más tarde en la página Migration Tasks o mediante operaciones en lote. Para obtener más información sobre las operaciones en lote, consulte Perform batch operations on data migration tasks.

   Una tarea de migración de datos desde la base de datos PolarDB-X 1.0 hacia el inquilino MySQL de OceanBase Database se elimina automáticamente después de iniciarse. El servicio de transmisión de datos conserva las tareas de migración de datos desde las bases de datos montadas en PolarDB-X 1.0 hacia el inquilino MySQL de OceanBase Database y crea automáticamente los orígenes de datos correspondientes. En el cuadro de diálogo que aparece, puede hacer clic en Download as file para guardar la información relacionada como un archivo CSV.

9. Haga clic en OK en el cuadro de diálogo. En la página Migration Tasks, puede iniciar una o varias tareas de migración de datos desde una base de datos MySQL hacia el inquilino MySQL de OceanBase Database.

   El servicio de transmisión de datos permite modificar los objetos de migración mientras se ejecuta una tarea de migración. Para obtener más información, consulte View and modify migration objects and their filter conditions. Una vez iniciada la tarea de migración de datos, se ejecutará según los tipos de migración seleccionados. Para obtener más información, consulte View migration details.

Referencias

• Create a PolarDB-X 1.0 data source

• Create an OceanBase data source

• Perform batch operations on data migration tasks

• View details of a data migration task