Data Transmission Service:Migrate data between PolarDB for PostgreSQL clusters

Requisitos previos

Antes de empezar, asegúrese de contar con lo siguiente:

• Un clúster de destino de PolarDB for PostgreSQL con más espacio de almacenamiento que el clúster de origen. Consulte Create a database cluster.

• El parámetro wal_level del clúster de origen establecido en logical. Consulte Set cluster parameters.

• Una base de datos creada en el clúster de destino para recibir los datos migrados. Consulte Database management.

Facturación

Objetos de migración compatibles

SCHEMA, TABLE (incluye PRIMARY KEY, UNIQUE KEY, FOREIGN KEY, DATATYPE —tipos de datos integrados— y DEFAULT CONSTRAINT).

Las funciones compatibles cuando este tipo de base de datos actúa como origen varían según el tipo de base de datos de destino. La consola muestra las funciones aplicables.

Operaciones SQL compatibles con la migración incremental

Permisos de las cuentas de base de datos

Limitaciones

Revise a continuación las limitaciones antes de iniciar la tarea de migración.

Base de datos de origen:

• Las tablas que se van a migrar deben tener una clave primaria o un índice único distinto de NULL.

• Las transacciones de larga duración durante la migración incremental provocan la acumulación de registros WAL (write-ahead log). Esto puede agotar el espacio en disco de la base de datos de origen.

• El clúster de origen debe ser compatible con Logical Replication Slot Failover y tenerlo habilitado. Si el clúster no lo admite (por ejemplo, si Database Engine es PostgreSQL 14), un cambio por alta disponibilidad (HA) en la base de datos de origen puede provocar un fallo irrecuperable en la instancia de migración.

• Durante la migración del esquema y la migración completa, no ejecute operaciones DDL que modifiquen la estructura de la base de datos o de las tablas. De hacerlo, la tarea de migración fallará.

• Durante una migración exclusivamente completa, no escriba datos nuevos en la instancia de origen, ya que se producirá inconsistencia de datos. Para mantener la consistencia en tiempo real, ejecute juntas la migración del esquema, la migración completa de datos y la migración incremental de datos.

• Si un solo cambio incremental supera los 256 MB, la instancia de migración fallará y no se podrá recuperar. En ese caso, deberá volver a configurar la instancia de migración.

Migration scope:

• Una sola tarea de migración únicamente puede migrar una base de datos. Configure una tarea independiente por cada base de datos que necesite migrar.

• DTS no es compatible con tablas de la extensión TimescaleDB, tablas con herencia entre esquemas ni tablas con índices únicos basados en expresiones.

• Los esquemas creados al instalar complementos no se pueden migrar y no aparecen en la consola al configurar una tarea.

Requisitos de la migración incremental:

• Ejecute ALTER TABLE schema.table REPLICA IDENTITY FULL; en todas las tablas que se van a migrar en la base de datos de origen antes de escribir datos en ellas. No ejecute operaciones de bloqueo de tablas mientras corre este comando, ya que puede causar interbloqueos. DTS ejecuta este comando automáticamente durante la inicialización de la instancia si usted omite la comprobación previa. Ejecute este comando en las siguientes situaciones:

  • Cuando la instancia se ejecuta por primera vez.

  • Cuando el objeto de migración es un esquema y se crea una tabla nueva en él, o cuando se reconstruye una tabla existente mediante RENAME.

  Reemplace schema y table con los nombres reales. Ejecute este comando fuera del horario de mayor actividad.

• Si una tabla contiene un campo SERIAL y usted selecciona Schema Migration en Migration Types, seleccione también Sequence o migre el esquema completo. De lo contrario, la instancia de migración podría fallar.

• DTS crea un slot de replicación con el prefijo dts_sync_ en la base de datos de origen para replicar los datos. Este slot conserva los registros incrementales de los últimos 15 minutos. DTS intenta limpiarlo automáticamente cuando la migración falla o se libera la instancia.

  Si cambia la contraseña de la cuenta de la base de datos de origen o quita las direcciones IP de DTS de la lista blanca durante la migración, el slot de replicación no se limpiará automáticamente. Limpie el slot manualmente para evitar que acumule datos y consuma espacio en disco, lo cual podría dejar la base de datos de origen no disponible. Si ocurre un failover en la base de datos de origen, inicie sesión en la base de datos secundaria para limpiar el slot manualmente.

• En tareas con claves externas, triggers o event triggers, DTS establece session_replication_role en replica a nivel de sesión si la cuenta de la base de datos de destino tiene privilegios o permisos de superusuario. Si la cuenta de destino no cuenta con estos permisos, establezca session_replication_role en replica manualmente en la base de datos de destino. Una vez liberada la tarea de migración, cambie el parámetro de vuelta a origin.

Base de datos de destino:

• La migración completa de datos ejecuta operaciones INSERT concurrentes, lo que fragmenta las tablas. Por ello, tras la migración, el espacio de tabla en la base de datos de destino será mayor que en la de origen.

• DTS valida el contenido de los datos, pero no los metadatos, como las secuencias. Valide los metadatos por su cuenta.

• Después del corte a la base de datos de destino, las secuencias no comienzan desde el valor máximo de la base de datos de origen. Actualice el valor de la secuencia en la base de datos de destino antes del corte. Consulte Actualizar el valor de secuencia de la base de datos de destino.

Tablas particionadas:

• Incluya tanto la tabla padre como todas las tablas hijas como objetos de migración. En PostgreSQL, las tablas padre no almacenan datos directamente, ya que todos los datos residen en las tablas hijas. Si no incluye las tablas hijas, se producirá inconsistencia de datos.

Recuperación de tareas:

• DTS intenta recuperar automáticamente las tareas con errores durante siete días. Antes de cambiar su negocio a la instancia de destino, finalice o libere la tarea. También puede usar el comando revoke para revocar los permisos de escritura de la cuenta de DTS en la instancia de destino. Así evita que los datos de origen sobrescriban los de destino tras una recuperación automática.

• Si una tarea falla, el equipo de soporte de DTS intenta restaurarla en un plazo de ocho horas. Para ello, podrían reiniciar la tarea o ajustar los parámetros de la tarea de DTS (no los parámetros de la base de datos). Consulte Modify instance parameters para ver los parámetros que se podrían ajustar.

Tablas temporales:

• DTS crea las siguientes tablas temporales en la base de datos de origen para capturar instrucciones DDL, estructuras de tablas incrementales e información de latidos. No las elimine durante la migración, ya que la tarea de DTS fallará. DTS las elimina automáticamente después de liberar la instancia: public.dts_pg_class, public.dts_pg_attribute, public.dts_pg_type, public.dts_pg_enum, public.dts_postgres_heartbeat, public.dts_ddl_command, public.dts_args_session, public.aliyun_dts_instance

Comportamiento de la migración de esquemas:

• DTS migra las claves externas de la base de datos de origen a la de destino durante la migración del esquema.

• Durante la migración completa e incremental, DTS deshabilita temporalmente las comprobaciones de restricciones y las operaciones en cascada de claves externas a nivel de sesión. Si ocurren actualizaciones o eliminaciones en cascada en la base de datos de origen mientras la tarea está en ejecución, podría generarse inconsistencia de datos.

Crear una tarea de migración

Verificar la migración

Monitoree el progreso de la tarea en la página Data Migration Tasks:

• Las tareas sin migración incremental se detienen automáticamente cuando termina la migración completa. Status cambia a Completed.

• Las tareas con migración incremental continúan ejecutándose. Status muestra Running mientras la migración incremental está activa.

Pasos siguientes

Antes de hacer el corte a la base de datos de destino:

• Actualice el valor de la secuencia en la base de datos de destino. Después del corte, las secuencias no se reanudan desde el valor máximo de la base de datos de origen. Consulte Actualizar el valor de secuencia de la base de datos de destino.

• Finalice o libere la tarea de DTS, o bien revoque los permisos de escritura de la cuenta de DTS en la instancia de destino mediante el comando revoke. Así evita que las tareas recuperadas automáticamente sobrescriban los datos de destino.