Data Transmission Service:Migración de datos de PolarDB for PostgreSQL a SelectDB

Base de datos de origen

• Las tablas que se van a migrar deben tener una clave primaria o un índice UNIQUE NOT NULL. Según el tipo de tablas:

  • Si todas las tablas tienen una clave primaria o un índice único no nulo: asegúrese de que los campos de las tablas sean únicos. De lo contrario, podrían existir datos duplicados en la base de datos de destino.

  • Si algunas tablas no tienen ni clave primaria ni índice único no nulo: al configurar la instancia, seleccione Schema Migration en Migration Types. Después, en el paso Configurations for Databases, Tables, and Columns, establezca Engine en duplicate para estas tablas. De lo contrario, la instancia de migración podría presentar errores o se podrían perder datos.

• Durante la migración de esquemas y la migración completa de datos, no ejecute operaciones DDL que modifiquen el esquema de la base de datos o de las tablas, ya que la tarea de migración presentará errores.

• Durante la migración incremental de datos, un solo cambio de datos que supere los 256 MB provoca que la instancia de migración presente errores de forma irrecuperable. En ese caso, deberá volver a configurar la instancia de migración.

• Las transacciones de larga duración durante la migración incremental pueden provocar la acumulación de registros de escritura anticipada (WAL), lo que podría agotar el espacio de almacenamiento de la base de datos de origen.

Base de datos de destino

• Las tablas de la instancia de SelectDB de destino deben usar el motor Unique o Duplicate.

• Los nombres de bases de datos y de tablas deben comenzar con una letra. Use la función object name mapping para cambiar el nombre de los objetos que no comiencen con una letra o que contengan caracteres chinos.

• No agregue nodos de backend (BE) a la instancia de SelectDB durante la migración, ya que la tarea presentará errores. Reinicie la instancia de migración para reanudar el proceso.

• No cree clústeres en la instancia de SelectDB de destino durante la migración, ya que la tarea presentará errores. Reinicie la instancia de migración para reanudar el proceso.

Comportamiento de la migración

• Una instancia de migración solo puede migrar una base de datos. Para migrar varias bases de datos, cree una instancia de migración independiente para cada una.

• DTS no es compatible con las tablas de la extensión TimescaleDB ni con las tablas que usan herencia entre esquemas.

• DTS no valida metadatos como las secuencias. Compruebe manualmente la validez de los metadatos después de la migración.

• Al migrar tablas particionadas, incluya tanto la tabla principal como todas las particiones secundarias como objetos de migración. La tabla principal de una tabla particionada de PostgreSQL no almacena datos directamente, ya que todos los datos residen en las particiones secundarias. Si faltan particiones secundarias, se producirá una inconsistencia de datos.

• En un escenario de fusión de varias tablas (varias tablas de origen migradas a una sola tabla de destino), los esquemas de todas las tablas de origen deben ser idénticos.

• No es posible ejecutar operaciones DDL que modifiquen varias columnas de forma simultánea o que modifiquen la misma tabla de manera consecutiva.

• DTS crea las siguientes tablas temporales en la base de datos de origen durante la migración incremental. No las elimine, ya que esto provocaría errores en la tarea. DTS las elimina automáticamente después de liberar la instancia de migración: public.dts_pg_class, public.dts_pg_attribute, public.dts_pg_type, public.dts_pg_enum, public.dts_postgres_heartbeat, public.dts_ddl_command, public.dts_args_session y public.aliyun_dts_instance

Comportamiento del motor Unique

Si la tabla de destino usa el motor Unique, todas las claves únicas de dicha tabla deben existir en la tabla de origen e incluirse como objetos de migración. De lo contrario, podría producirse una inconsistencia de datos.

Comportamiento del motor Duplicate

Si la tabla de destino usa el motor Duplicate:

• DTS convierte las instrucciones UPDATE y DELETE en instrucciones INSERT.

• Pueden aparecer filas duplicadas en el destino en estos casos: si se produjo un reintento, si se reinició la instancia de migración o si se ejecutaron dos o más operaciones DML en la misma fila después de iniciar la migración. Use las columnas adicionales (_is_deleted, _version y _record_id) para identificar y eliminar los duplicados.

Requisitos de la migración incremental de datos

Antes de escribir datos en las tablas incluidas en una migración incremental, ejecute el siguiente comando en cada tabla de la base de datos de origen:

ALTER TABLE schema.table REPLICA IDENTITY FULL;

Reemplace schema y table con el nombre real del esquema y de la tabla. Ejecute este comando fuera del horario de mayor actividad y no bloquee las tablas, ya que hacerlo podría causar un interbloqueo.

Si omite el elemento de comprobación previa correspondiente, DTS ejecuta este comando automáticamente durante la inicialización de la instancia. Esto ocurre cuando la instancia se ejecuta por primera vez, o cuando la granularidad del objeto de migración se establece en Schema y se crea o reconstruye una tabla nueva mediante el comando RENAME.

Gestión de ranuras de replicación

DTS crea una ranura de replicación con el prefijo dts_sync_ en la base de datos de origen para replicar los datos incrementales. Esta ranura conserva hasta 15 minutos de registros incrementales.

Cuando una tarea de migración presenta errores o se libera la instancia de migración, DTS intenta limpiar la ranura de replicación automáticamente. Sin embargo, se requiere una limpieza manual en los siguientes casos:

• La contraseña de la cuenta de la base de datos de origen se modificó durante la migración.

• La dirección IP de DTS se eliminó de la lista blanca durante la migración.

• Se produjo una conmutación por error entre el nodo principal y el secundario. En este caso, inicie sesión en la base de datos secundaria para realizar la limpieza.

Las ranuras de replicación que no se limpian se acumulan y consumen espacio en disco, lo que podría dejar la base de datos de origen no disponible.

Paso 1: Ir a la página Data Migration

Utilice uno de los siguientes métodos:

Paso 2: Crear una tarea

Haga clic en Create Task para ir a la página de configuración de la tarea.

Paso 3: Configurar las bases de datos de origen y de destino

Configure los parámetros descritos en la siguiente tabla.

Una vez completada la configuración, haga clic en Test Connectivity and Proceed en la parte inferior de la página.

Las direcciones IP de los servidores de DTS deben agregarse a la configuración de seguridad tanto de la base de datos de origen como de la de destino. DTS puede agregar estas direcciones IP automáticamente o usted puede agregarlas de forma manual. Consulte Agregar direcciones IP de servidores de DTS a una lista blanca .

Paso 4: Configurar los objetos de migración

En la página Configure Objects, configure los siguientes parámetros.

Parámetro	Descripción
Migration Types	Seleccione los tipos de migración según su estrategia: <br>- Full migration (sin tolerancia al tiempo de inactividad): seleccione Schema Migration y Full Data Migration. Detenga todas las escrituras en el origen antes de iniciar el proceso. <br>- Migración en línea (sin tiempo de inactividad): seleccione Schema Migration, Full Data Migration y Incremental Data Migration.
Processing Mode of Conflicting Tables	- Precheck and Report Errors: DTS comprueba si existen tablas con el mismo nombre en el destino. Si hay duplicados, la comprobación previa presenta errores. Para resolverlo, cambie el nombre de la tabla de destino mediante la función de asignación de nombres de objetos. <br>- Ignore Errors and Proceed: DTS omite la comprobación de nombres duplicados. Aviso Esto puede provocar una inconsistencia de datos. Si los esquemas coinciden, los registros de origen sobrescriben los registros de destino con la misma clave primaria; si difieren, la migración podría presentar errores o generar datos incompletos. Utilice esta opción con precaución.
Capitalization of Object Names in Destination Instance	Controla el uso de mayúsculas y minúsculas en los nombres de bases de datos, tablas y columnas del destino. El valor predeterminado es DTS default policy. Consulte Especificar el uso de mayúsculas y minúsculas en los nombres de objetos de la instancia de destino.
Source Objects	Seleccione los objetos que desea migrar. Haga clic en el icono para moverlos a Selected Objects. La granularidad de los objetos de migración puede ser de esquema, tabla o columna.
Selected Objects	- Para asignar un objeto a un nombre o destino diferente, haga clic con el botón derecho en el objeto y seleccione la opción de asignación. Consulte Asignar nombres de objetos. <br>- Para quitar un objeto, haga clic en él y luego en el icono . <br>- Para establecer el parámetro bucket_count de una tabla (disponible cuando se selecciona Schema Migration y la granularidad del objeto de migración es tabla): haga clic con el botón derecho en la tabla, establezca Enable Parameter Settings en Yesconfiguración de notificaciones de alertas, introduzca el valor y haga clic en OK. <br>- Para filtrar filas mediante condiciones SQL, haga clic con el botón derecho en una tabla y especifique las condiciones. Consulte Especificar condiciones de filtro. <br>- Para seleccionar qué operaciones SQL se migrarán de forma incremental, haga clic con el botón derecho en un objeto y seleccione las operaciones.

Paso 5: Configurar los ajustes avanzados

Haga clic en Next: Advanced Settings y configure los siguientes parámetros.

Paso 6: Configurar los campos de bases de datos y tablas (opcional)

Haga clic en Next: Configure Database and Table Fields para establecer Primary Key Column, Distribution Key y Engine para las tablas de destino.

Este paso está disponible únicamente cuando se selecciona Schema Migration . Para ver todas las tablas, establezca Definition Status en All .

Primary Key Column puede ser una clave primaria compuesta. Seleccione una o más columnas de Primary Key Column para usarlas como Distribution Key .

Para las tablas sin clave primaria ni restricción UNIQUE, establezca Engine en duplicate ; de lo contrario, la migración podría presentar errores o se podrían perder datos.

Paso 7: Ejecutar la comprobación previa

Haga clic en Next: Save Task Settings and Precheck.

Para obtener una vista previa de los parámetros de API necesarios para configurar esta tarea, coloque el puntero sobre Next: Save Task Settings and Precheck y haga clic en Preview OpenAPI parameters antes de continuar.

DTS ejecuta una comprobación previa antes de iniciar la migración. Si la comprobación previa presenta errores:

• Para los elementos con errores: haga clic en View Details, analice los resultados, resuelva los problemas y luego haga clic en Precheck Again.

• Para los elementos de advertencia: si la advertencia se puede ignorar, haga clic en Confirm Alert Details > Ignore > OK > Precheck Again. Tenga en cuenta que ignorar las advertencias puede provocar una inconsistencia de datos.

Paso 8: Adquirir la instancia

1. Espere hasta que Success Rate alcance 100% y luego haga clic en Next: Purchase Instance.

2. En la página Purchase Instance, configure la clase de instancia:

   Sección	Parámetro	Descripción
   New Instance Class	Resource Group	El resource group de la instancia de migración. Valor predeterminado: default resource group. Consulte What is Resource Management?.
   	Instance Class	La clase de instancia determina la velocidad de migración. Consulte Clases de instancias de migración de datos.

3. Lea y seleccione la casilla de verificación Data Transmission Service (Pay-as-you-go) Service Terms.

4. Haga clic en Buy and Start y luego en OK en el cuadro de diálogo de confirmación.

Supervise el progreso en la página Data Migration:

• Solo migración completa: la tarea se detiene automáticamente al finalizar. El estado muestra Completed.

• Migración incremental incluida: la tarea se ejecuta de forma continua y nunca se detiene automáticamente. El estado muestra Running.

Durante la migración completa de datos, DTS consume recursos de lectura y escritura tanto en la base de datos de origen como en la de destino, lo que aumenta la carga de ambas. Ejecute la migración fuera del horario de mayor actividad, cuando la carga de CPU de ambas bases de datos sea inferior al 30 %.

Latencia de la migración incremental

DTS utiliza una política de sincronización por lotes para reducir la carga en el destino. De forma predeterminada, cada objeto de sincronización se escribe como máximo una vez cada 5 segundos, lo que genera una latencia de sincronización normal generalmente inferior a 10 segundos.

Para reducir la latencia, ajuste el parámetro selectdb.reservoir.timeout.milliseconds de la instancia de migración en la consola de DTS. El rango válido es de 1000 a 10 000 milisegundos.

Un tiempo de procesamiento por lotes más corto aumenta la frecuencia de escritura, lo que eleva la carga y el tiempo de respuesta en el destino. Esto, a su vez, puede incrementar la latencia de sincronización. Ajústelo según la carga real del destino.

Recuperación tras errores de instancia

Si una instancia de migración presenta errores, el equipo de soporte de DTS intentará recuperarla en un plazo de 8 horas. Durante la recuperación, es posible que se reinicie la instancia o que se ajusten sus parámetros (solo se modifican los parámetros de la instancia de DTS, no los de la base de datos). Para consultar la lista de parámetros que podrían modificarse, consulte Modificar parámetros de instancia.

Migración fuera del horario de mayor actividad

Ejecute la migración fuera del horario de mayor actividad, cuando la carga de CPU de las bases de datos de origen y de destino sea inferior al 30 %. Esto reduce el riesgo de degradación del rendimiento en las cargas de trabajo de producción.