Data Transmission Service:Migración de datos de ApsaraDB RDS for PostgreSQL a ApsaraDB for SelectDB

Requisitos de la base de datos de origen

• Ancho de banda: El servidor que aloja la base de datos de origen debe contar con ancho de banda saliente suficiente. De lo contrario, la velocidad de migración de datos se ve afectada.

• Tablas con claves principales o restricciones UNIQUE: Asegúrese de que los campos de la tabla sean únicos. De lo contrario, pueden existir datos duplicados en la base de datos de destino.

  Si DTS no creó la tabla de destino que recibe los datos (es decir, no se seleccionó Schema Migration ), asegúrese de que la tabla de destino tenga la misma clave principal o restricción UNIQUE no nula que la tabla de origen. De lo contrario, pueden aparecer datos duplicados en la base de datos de destino.

• Tablas sin clave principal ni restricción UNIQUE: Seleccione Schema Migration al configurar la tarea y establezca el motor de tabla en duplicate.

• Nombre de la base de datos: El nombre de la base de datos no puede contener un guion (-). Por ejemplo, dts-testdata no es compatible.

• Cantidad de tablas: Cuando se migra a nivel de tabla con asignación de nombres de columnas, una sola tarea admite un máximo de 1,000 tablas. Para migraciones más grandes, divida las tablas en varias tareas o migre toda la base de datos.

• Operaciones DDL: No ejecute operaciones DDL en la base de datos de origen durante la migración de datos completa.

• Tamaño de datos: Si una sola fila de datos de cambio incremental excede 256 MB, la instancia de migración falla y no se puede recuperar. Debe reconfigurar la instancia de migración.

• Write-Ahead Logging (WAL):

  • Establezca wal_level en logical.

  • Para migración solo incremental: conserve los registros WAL durante más de 24 horas.

  • Para migración completa + incremental: conserve los registros WAL durante 7 días como mínimo. Puede cambiar el periodo de retención de registros a más de 24 horas después de que se complete la migración completa.

  Importante

  Si la retención de registros WAL es menor que la requerida por DTS y la tarea falla por falta de registros, esto no está cubierto por el Acuerdo de Nivel de Servicio (SLA) de DTS.

• Failover de slot de replicación lógica: La instancia RDS PostgreSQL debe admitir y tener habilitado el failover de slot de replicación lógica. Consulte Failover de slot de replicación lógica.

• Transacciones de larga duración: Si la base de datos de origen tiene transacciones de larga duración y la tarea incluye migración incremental, los datos WAL se acumulan hasta que se confirma la transacción. Monitoree el espacio en disco del origen para evitar que se agote.

• Actualizaciones de versión principal: No actualice la versión principal de la base de datos de origen mientras la instancia de migración está en ejecución. Si lo hace, la instancia falla permanentemente.

Requisitos de SelectDB de destino

• Las tablas deben usar el motor Unique o Duplicate. Consulte Data Model para obtener orientación.

• Si la tabla de destino usa el motor Unique, todas las claves únicas de la tabla de destino también deben existir en la tabla de origen y estar incluidas en los objetos de migración.

• Los nombres de bases de datos y tablas deben comenzar con una letra. Use la función de asignación de nombres de objetos para cambiar el nombre de los objetos que no cumplan este requisito.

• Los nombres de objetos que contengan caracteres chinos deben cambiarse a equivalentes ASCII mediante la asignación de nombres de objetos. De lo contrario, la tarea puede fallar.

• Una instancia de migración solo puede migrar una base de datos. Para migrar varias bases de datos, configure una instancia de migración independiente para cada una.

• No agregue nodos de backend (BE) a la base de datos SelectDB durante la migración. Si la tarea falla por este motivo, reinicie la instancia de migración para reanudarla.

• No cree clústeres en la instancia SelectDB de destino durante la migración. Si la tarea falla por este motivo, reinicie la instancia de migración para reanudarla.

• DTS valida el contenido de datos, pero no valida metadatos como Sequences. Valide estos metadatos manualmente.

Requisitos de la migración incremental

• Ejecute el siguiente comando en cada tabla que se migrará antes de escribir datos en el origen:

  ALTER TABLE schema.table REPLICA IDENTITY FULL;

  Reemplace schema y table por el nombre real del esquema y el nombre real de la tabla. Ejecute este comando durante horas de baja actividad y no bloquee las tablas mientras lo ejecuta para evitar interbloqueos.

  Si omite el elemento de verificación previa relacionado, DTS ejecuta automáticamente este comando durante la inicialización de la instancia. Esto aplica cuando la instancia se ejecuta por primera vez, o cuando la granularidad del objeto de migración se establece en Schema y se crea una tabla nueva o se reconstruye una tabla existente con el comando RENAME.

• Las operaciones SQL compatibles con la migración incremental son:

  Tipo de operación	Instrucciones SQL
  DML	INSERT, UPDATE, DELETE
  DDL	ADD COLUMN, DROP COLUMN

• DTS convierte las instrucciones UPDATE y DELETE en instrucciones INSERT para las tablas que usan el motor Duplicate.

• DTS no puede migrar tablas de la extensión TimescaleDB ni tablas con herencia entre esquemas.

• Al migrar tablas particionadas, incluya la tabla principal y todas las tablas secundarias en los objetos de migración. La tabla principal no almacena datos, pero excluirla provoca inconsistencia de datos.

• Para escenarios de combinación de varias tablas (varias tablas de origen en una tabla de destino), todas las tablas de origen deben tener esquemas idénticos.

Casos especiales

Comportamiento interno de DTS

Durante la migración, DTS crea los siguientes objetos en la base de datos de origen. No los elimine: se quitan automáticamente cuando se libera la instancia DTS:

• Tablas temporales: public.dts_pg_class, public.dts_pg_attribute, public.dts_pg_type, public.dts_pg_enum, public.dts_postgres_heartbeat, public.dts_ddl_command, public.dts_args_session, public.aliyun_dts_instance

• Slot de replicación (prefijo: dts_sync_): Se usa para obtener registros incrementales de los últimos 15 minutos. DTS limpia este slot cuando la migración falla o se libera la instancia.

  Si cambia la contraseña de la cuenta de la base de datos de origen o quita direcciones IP de DTS de la lista de permitidos durante la migración, el slot de replicación no se puede limpiar automáticamente. Limpie el slot manualmente para evitar la acumulación en disco. Si se produce un failover principal/secundario, inicie sesión en la base de datos secundaria para limpiarlo.

Paso 1: Vaya a la página Data Migration

Use una de las consolas que se indican a continuación para acceder a la página Data Migration.

Paso 2: Configure las bases de datos de origen y destino

Haga clic en Create Task para abrir la página de configuración de la tarea y configure los parámetros que se indican a continuación.

Nombre de la tarea

Base de datos de origen

Base de datos de destino

Paso 3: Pruebe la conectividad y configure los objetos

1. Haga clic en Test Connectivity and Proceed.

   Asegúrese de que los bloques CIDR de los servidores DTS estén agregados a la configuración de seguridad de las bases de datos de origen y destino. Consulte Agregar direcciones IP de servidores DTS a una lista de permitidos .

2. En la página Configure Objects, establezca los parámetros que se indican a continuación:

   Parámetro	Descripción
   Migration Types	Seleccione según su estrategia de migración. Consulte Elija un tipo de migración. Para una migración sin tiempo de inactividad, seleccione Schema Migration, Full Data Migration e Incremental Data Migration. Para una migración única, seleccione Schema Migration y Full Data Migration.
   Processing Mode of Conflicting Tables	Precheck and Report Errors (predeterminado): la tarea falla durante la verificación previa si existen tablas con el mismo nombre en el destino. Ignore Errors and Proceed: DTS omite la comprobación. Úselo con precaución; puede haber inconsistencia de datos si los esquemas difieren.
   Capitalization of Object Names in Destination Instance	Determina cómo se escriben en mayúsculas los nombres de bases de datos, tablas y columnas en el destino. DTS default policy está seleccionada de forma predeterminada. Consulte Especificar el uso de mayúsculas de los nombres de objetos en la instancia de destino.
   Source Objects	Seleccione los objetos que se migrarán a nivel de esquema o tabla y haga clic en el icono para agregarlos a Selected Objects.
   Selected Objects	Haga clic derecho en un objeto para renombrarlo, establecer condiciones de filtrado o seleccionar operaciones SQL para la migración incremental. Para establecer el parámetro bucket_count, haga clic derecho en una tabla, vaya a Parameter Settings, habilite la configuración y especifique un valor. Para quitar un objeto, haga clic en él y luego haga clic en el icono de quitar.

   - El parámetro bucket_count debe ser un entero positivo. El valor predeterminado es auto . - Si cambia el nombre de un objeto mediante la asignación de nombres de objetos, otros objetos que dependen de él pueden fallar al migrar. - Para filtrar filas, haga clic derecho en una tabla en Selected Objects y especifique condiciones WHERE. Consulte Especificar condiciones de filtrado .

3. Haga clic en Next: Advanced Settings y configure los parámetros opcionales que se indican a continuación:

   Parámetro	Descripción
   Dedicated Cluster for Task Scheduling	De forma predeterminada, las tareas se ejecutan en el clúster compartido. Para mayor estabilidad, adquiera un clúster dedicado. Consulte Qué es un clúster dedicado de DTS.
   Retry Time for Failed Connections	Cuánto tiempo reintenta DTS antes de marcar la tarea como con errores debido a problemas de conexión. Rango: 10–1,440 minutos. Predeterminado: 720 minutos. Establézcalo en 30 minutos como mínimo.
   Retry Time for Other Issues	Cuánto tiempo reintenta DTS antes de fallar debido a errores de DDL o DML. Rango: 1–1,440 minutos. Predeterminado: 10 minutos. Debe ser menor que Retry Time for Failed Connections.
   Enable Throttling for Full Data Migration	Limita el throughput de lectura/escritura durante la migración completa para reducir la carga de la base de datos. Configure Queries per second (QPS) to the source database, RPS of Full Data Migration y Data migration speed for full migration (MB/s).
   Enable Throttling for Incremental Data Migration	Limita el throughput durante la migración incremental. Configure RPS of Incremental Data Migration y Data migration speed for incremental migration (MB/s).
   Environment Tag	Opcional. Etiquete la instancia para identificar el entorno.
   Configure ETL	Seleccione Yes y configure las notificaciones de alerta para habilitar la función de extracción, transformación y carga (ETL). Consulte Configurar ETL en una tarea de migración de datos o sincronización de datos.
   Monitoring and Alerting	Seleccione Yes para recibir alertas cuando la tarea falle o la latencia de migración supere un umbral. Consulte Configurar monitoreo y alertas.

4. (Opcional) Haga clic en Next: Configure Database and Table Fields para establecer Primary Key Column, Distribution Key y Engine para las tablas de destino.

   - Este paso está disponible solo si seleccionó Schema Migration en Migration Types . Establezca Definition Status en All para editar todas las tablas. - La Primary Key Column puede ser una clave principal compuesta. Seleccione una o más columnas de la Primary Key Column como Distribution Key . - Para tablas sin clave principal ni restricción UNIQUE, establezca Engine en duplicate . De lo contrario, la instancia de migración puede fallar o se pueden perder datos.

Paso 4: Ejecute la verificación previa

1. Haga clic en Next: Save Task Settings and Precheck.

   Para obtener una vista previa de los parámetros de API para esta configuración de tarea, mueva el puntero sobre Next: Save Task Settings and Precheck y haga clic en Preview OpenAPI parameters .

2. Espere a que se complete la verificación previa. Si algún elemento falla:

   • Haga clic en View Details junto a cada elemento con errores, resuelva el problema y luego haga clic en Precheck Again.

   • Para elementos de alerta que se pueden ignorar, haga clic en Confirm Alert Details, luego haga clic en Ignore > OK > Precheck Again.

   Importante

   Ignorar elementos de alerta puede provocar inconsistencia de datos. Proceda con precaución.

Paso 5: Adquiera la instancia e inicie la migración

1. Espere hasta que Success Rate alcance 100% y luego haga clic en Next: Purchase Instance.

2. En la página Purchase Instance, configure la clase de instancia:

   Parámetro	Descripción
   Resource Group	El resource group de la instancia de migración. Predeterminado: default resource group. Consulte What is Resource Management?
   Instance Class	Controla la velocidad de migración. Consulte Clases de instancias de migración de datos.

3. Lea y acepte Data Transmission Service (Pay-as-you-go) Service Terms, luego haga clic en Buy and Start > OK.

Compruebe el estado de la migración

Después de que se inicie la tarea, vaya a la página Data Migration para monitorear el progreso:

• Solo migración completa: la tarea se detiene automáticamente al completarse. El Status cambia a Completed.

• Migración completa + incremental: la fase incremental se ejecuta continuamente. El Status muestra Running. Detenga la tarea manualmente cuando esté listo para cambiar al destino.