Data Transmission Service:Migrar datos de PolarDB for PostgreSQL a AnalyticDB for PostgreSQL

Limitaciones de la base de datos de origen

• Las tablas que se van a migrar deben tener una clave primaria o un índice único no nulo.

• Si la base de datos de origen tiene transacciones de larga duración y la tarea incluye migración incremental, el registro de escritura anticipada (WAL) generado antes de que se confirmen dichas transacciones puede acumularse y agotar el espacio en disco de la base de datos de origen.

• El clúster de PolarDB for PostgreSQL debe admitir y tener habilitada la función Conmutación por error de ranura de replicación lógica.

  Importante

  Si el clúster de origen no admite la conmutación por error de ranura de replicación lógica (por ejemplo, si el Motor de base de datos es PostgreSQL 14), una conmutación por error de alta disponibilidad (HA) en el origen puede provocar que la tarea de migración falle y no se pueda recuperar.

• No realice operaciones DDL que modifiquen la estructura de la base de datos o de las tablas durante la migración de esquemas o la migración completa de datos. De lo contrario, la tarea de migración fallará.

• Un solo dato que supere los 256 MB tras un cambio incremental provocará que la tarea de migración falle y no se pueda recuperar. En este caso, vuelva a configurar la tarea de migración.

Limitaciones de alcance

• Una sola tarea de migración migra únicamente una base de datos. Configure una tarea independiente para cada base de datos adicional.

• DTS no admite: tablas de extensión de TimescaleDB, tablas con herencia entre esquemas ni tablas con índices únicos basados en expresiones.

• Los esquemas creados al instalar complementos no se pueden migrar y no aparecen en la consola durante la configuración de la tarea.

• DTS no migra los siguientes tipos de objetos: DATATYPE, SEQUENCE, INDEX, PROCEDURE, FUNCTION, VIEW, OPERATOR, DEFAULT_CONSTRAINT, UK, PK, RULE, DOMAIN, AGGREGATE, EXTENSION, FK y TRIGGER.

• Las tablas de destino no admiten tablas AO (optimizadas para anexión).

• En el caso de tablas particionadas, incluya tanto la tabla principal como todas sus tablas secundarias como objetos de migración. En PostgreSQL, la tabla principal no almacena datos directamente; todos los datos residen en las tablas secundarias. Omitir las tablas secundarias provoca inconsistencia en los datos.

Limitaciones de consistencia de datos

• Durante la migración de esquemas, DTS migra las claves foráneas del origen al destino.

• Durante la migración completa e incremental de datos, DTS deshabilita temporalmente las comprobaciones de restricciones y las operaciones en cascada de claves foráneas a nivel de sesión. Si se producen operaciones de actualización o eliminación en cascada en el origen mientras se ejecuta la tarea, puede ocurrir una inconsistencia de datos.

• La migración completa de datos utiliza operaciones INSERT simultáneas, lo que causa fragmentación de tablas en el destino. Como resultado, el espacio de la tabla de destino será mayor que el del origen tras la migración completa.

• Si una tabla tiene clave primaria, la columna de clave primaria en el destino debe coincidir con la del origen. Si una tabla no tiene clave primaria, la columna de clave primaria en el destino debe coincidir con la clave de distribución.

• La clave única (incluida la columna de clave primaria) de la tabla de destino debe contener todas las columnas de la clave de distribución.

• Si los esquemas de las tablas de origen y destino son inconsistentes, o si utiliza asignación de columnas para una migración de tabla no completa, se perderán los datos de las columnas que solo existen en el origen.

• DTS valida el contenido de los datos, pero no valida metadatos como las secuencias. Valide los metadatos por separado después de la migración.

Requisitos para la migración incremental

Antes de escribir datos en la base de datos de origen para la migración incremental, ejecute el siguiente comando en cada tabla que se vaya a migrar:

ALTER TABLE schema.table REPLICA IDENTITY FULL;

Reemplace schema y table con el nombre real del esquema y de la tabla. Ejecute este comando fuera de las horas pico y evite operaciones de bloqueo de tablas durante su ejecución.

Ejecute este comando en los siguientes escenarios:

• Cuando la tarea de migración se ejecuta por primera vez.

• Cuando el objeto de migración es un esquema y se crea una nueva tabla en dicho esquema, o cuando se reconstruye una tabla existente mediante RENAME.

Si omite el elemento de precomprobación relacionado, DTS ejecuta automáticamente este comando durante la inicialización de la instancia.

Manejo de secuencias posteriores a la migración

Después de cambiar su negocio a la instancia de destino, las secuencias no comenzarán automáticamente desde el valor máximo de las secuencias correspondientes en el origen. Antes del cambio, consulte los valores máximos de las secuencias en la base de datos de origen y establézcalos como valores iniciales en el destino.

Ejecute el siguiente comando en la base de datos de origen para obtener todos los valores de las secuencias:

do language plpgsql $$
declare
  nsp name;
  rel name;
  val int8;
begin
  for nsp,rel in select nspname,relname from pg_class t2 , pg_namespace t3 where t2.relnamespace=t3.oid and t2.relkind='S'
  loop
    execute format($_$select last_value from %I.%I$_$, nsp, rel) into val;
    raise notice '%',
    format($_$select setval('%I.%I'::regclass, %s);$_$, nsp, rel, val+1);
  end loop;
end;
$$;

La salida contiene sentencias SET para todas las secuencias de la base de datos de origen. Ejecute únicamente las sentencias relevantes para su migración en la base de datos de destino.

Gestión de ranuras de replicación

Durante la migración incremental, DTS crea una ranura de replicación con el prefijo dts_sync_ en la base de datos de origen para replicar los registros incrementales de los últimos 15 minutos. Cuando una tarea de migración falla o se libera la instancia, DTS intenta limpiar la ranura de replicación automáticamente.

Se requiere una limpieza manual en los siguientes casos:

• Cambió la contraseña de la cuenta de la base de datos de origen durante la migración.

• Eliminó la dirección IP de DTS de la lista blanca de direcciones IP de la base de datos de origen durante la migración.

• Se produjo una conmutación por error en la base de datos de origen; inicie sesión en la base de datos secundaria para limpiar la ranura manualmente.

Tablas temporales

DTS crea las siguientes tablas temporales en la base de datos de origen para obtener sentencias DDL, información sobre la estructura incremental de tablas y datos de latido. No elimine estas tablas durante la migración, ya que se borran automáticamente después de liberar la instancia de DTS.

public.dts_pg_class, public.dts_pg_attribute, public.dts_pg_type, public.dts_pg_enum, public.dts_postgres_heartbeat, public.dts_ddl_command, public.dts_args_session y public.aliyun_dts_instance

Paso 1: Abrir la lista de tareas de migración

Abra la lista de tareas de migración mediante uno de los siguientes métodos.

Desde la consola de DTS:

1. Inicie sesión en la consola de DTS.

2. En el panel de navegación izquierdo, haga clic en Data Migration.

3. En la esquina superior izquierda, seleccione la región donde se encuentra la instancia de migración.

Desde la consola de DMS:

Los pasos reales pueden variar según el modo y el diseño de su consola de DMS. Consulte Consola en modo simple y Personalizar el diseño y estilo de la consola de DMS .

1. Inicie sesión en la consola de DMS.

2. En la barra de menú superior, elija Data + AI > Data Transmission (DTS) > Data Migration.

3. A la derecha de Data Migration Tasks, seleccione la región donde se encuentra la instancia de migración.

Paso 2: Configurar las bases de datos de origen y destino

Configure los siguientes ajustes en la página de conexión de las bases de datos de origen y destino.

Después de completar la configuración, haga clic en Test Connectivity and Proceed en la parte inferior de la página.

Asegúrese de que los rangos de direcciones IP del servicio DTS estén agregados a la configuración de seguridad (lista blanca) tanto de la base de datos de origen como de la de destino. Consulte Agregar direcciones IP de servidores DTS a una lista blanca .

Paso 3: Configurar objetos de migración

En la página Configure Objects, establezca los siguientes parámetros.

El uso de la asignación de nombres de objetos puede provocar que la migración falle para otros objetos que dependan del objeto renombrado.

Paso 4: Configurar ajustes avanzados

Haga clic en Next: Advanced Settings para configurar los siguientes parámetros.

Paso 5: Configurar la validación de datos

Haga clic en Next: Data Validation para configurar una tarea de validación de datos. Consulte Configurar validación de datos.

Paso 6: Configurar campos de tablas de destino (opcional)

Haga clic en Next: Configure Database and Table Fields para establecer el Type, la Primary Key Column y la Distribution Key para las tablas de destino en AnalyticDB for PostgreSQL.

Este paso solo está disponible cuando se selecciona Schema Migration. Establezca Definition Status en All para ver y editar todas las tablas.

• Primary Key Column: Seleccione una o más columnas. Varias columnas forman una clave primaria compuesta.

• Distribution Key: Seleccione una o más columnas de la Primary Key Column. Consulte Manage data tables y Define table distribution.

Paso 7: Guardar la configuración y ejecutar una precomprobación

Haga clic en Next: Save Task Settings and Precheck.

Para obtener una vista previa de los parámetros de API de esta configuración, pase el cursor sobre el botón Next: Save Task Settings and Precheck y haga clic en Preview OpenAPI parameters .

Antes de que comience la tarea de migración, DTS realiza una precomprobación. La tarea solo se inicia después de superar dicha precomprobación.

Si la precomprobación falla, haga clic en View Details junto al elemento fallido, solucione el problema y haga clic en Precheck Again.

Si aparece una advertencia:

• Para advertencias que no se pueden ignorar, solucione el problema subyacente y vuelva a ejecutar la precomprobación.

• Para advertencias que se pueden ignorar, haga clic en Confirm Alert Details > Ignore > OK > Precheck Again para continuar. Ignorar advertencias puede causar inconsistencia en los datos.

Paso 8: Adquirir la instancia

1. Cuando la Success Rate alcance el 100 %, haga clic en Next: Purchase Instance.

2. En la página Purchase, configure los siguientes parámetros.

   Parámetro	Descripción
   Resource Group Settings	Resource group para la instancia. Predeterminado: resource group predeterminado. Consulte ¿Qué es Resource Management?
   Instance Class	Especificación del enlace de migración que determina la velocidad de migración. Consulte Especificaciones de enlaces de migración de datos.

3. Lea y seleccione Data Transmission Service (Pay-as-you-go) Service Terms.

4. Haga clic en Buy and Start y luego en OK en el cuadro de diálogo de confirmación.