Data Transmission Service:Sincronización bidireccional entre clústeres de PolarDB for PostgreSQL

Requisitos de la base de datos de origen

• Las tablas deben tener una clave primaria o un índice único no nulo.

• Evite transacciones de larga duración en el clúster de origen. Las transacciones sin confirmar provocan la acumulación del registro de escritura anticipada (WAL), lo cual puede agotar el espacio en disco.

• Si un solo cambio incremental supera los 256 MB, la instancia de sincronización falla y no se puede recuperar. Reconfigure la tarea desde cero.

• No ejecute operaciones DDL durante la sincronización de esquemas ni durante la sincronización completa de datos. DTS crea bloqueos de metadatos durante la sincronización completa que pueden impedir la ejecución de DDL en el origen.

Objetos no compatibles

DTS no sincroniza:

• Tablas de la extensión TimescaleDB

• Tablas con herencia entre esquemas

• Tablas con índices únicos basados en expresiones

• Esquemas creados mediante la instalación de complementos

Tablas particionadas

Incluya tanto la tabla principal como todas las particiones secundarias como objetos de sincronización. Una tabla particionada de PostgreSQL no almacena datos en la tabla principal; todos los datos residen en las particiones secundarias. Si omite alguna partición secundaria, esos datos no se sincronizarán.

Columnas SERIAL y secuencias

Si una tabla sincronizada tiene una columna SERIAL, PostgreSQL crea automáticamente una secuencia de respaldo. Cuando selecciona Schema Synchronization, seleccione también Sequence o sincronice todo el esquema para evitar fallos en la instancia de sincronización.

Después de un cambio de negocio hacia el clúster de destino, las secuencias no reanudan automáticamente su conteo desde el valor máximo del origen. Antes de realizar el cambio, ejecute la siguiente consulta en el clúster de origen para obtener los valores actuales de las secuencias y luego aplique las sentencias setval devueltas en el clúster de destino:

do language plpgsql $$
declare
  nsp name;
  rel name;
  val int8;
begin
  for nsp,rel in select nspname,relname from pg_class t2 , pg_namespace t3 where t2.relnamespace=t3.oid and t2.relkind='S'
  loop
    execute format($_$select last_value from %I.%I$_$, nsp, rel) into val;
    raise notice '%',
    format($_$select setval('%I.%I'::regclass, %s);$_$, nsp, rel, val+1);
  end loop;
end;
$$;

La consulta devuelve sentencias setval para todas las secuencias de la base de datos de origen. Ejecute únicamente las sentencias correspondientes a las tablas que sincronizó.

Tablas que requieren REPLICA IDENTITY FULL

Ejecute ALTER TABLE schema.table REPLICA IDENTITY FULL; en las tablas de origen antes de escribir datos en cualquiera de estas tres situaciones:

1. Cuando la instancia de sincronización se ejecuta por primera vez.

2. Cuando utiliza la selección de objetos a nivel de esquema y se agrega una nueva tabla al esquema, o cuando se reconstruye una tabla existente con RENAME.

3. Cuando utiliza la función de modificación de objetos de sincronización.

Ejecute este comando fuera del horario pico y evite los bloqueos de tabla para prevenir interbloqueos. Si omite los elementos de verificación previa relacionados, DTS ejecutará este comando automáticamente durante la inicialización.

Claves externas, disparadores y disparadores de eventos

Para tablas con claves externas, disparadores o disparadores de eventos, DTS establece temporalmente session_replication_role en replica a nivel de sesión si la cuenta de la base de datos de destino es una cuenta privilegiada o tiene permisos de superusuario. Si la cuenta carece de dichos permisos, establezca manualmente session_replication_role en replica en el destino. Las operaciones de actualización o eliminación en cascada en el origen durante este periodo pueden causar inconsistencia en los datos. Una vez liberada la tarea de DTS, restablezca session_replication_role a origin.

Ranuras de replicación

DTS crea una ranura de replicación con el prefijo dts_sync_ en la base de datos de origen para leer registros incrementales de hasta 15 minutos anteriores. Cuando una tarea de sincronización falla o se libera su instancia, DTS intenta limpiar la ranura automáticamente.

La ranura no se puede limpiar automáticamente si cambia la contraseña de la cuenta de la base de datos de origen o si elimina las direcciones IP de DTS de la lista blanca del clúster de origen. En esos casos, elimine manualmente la ranura de replicación en la base de datos de origen para evitar que se agote el disco. Si ocurre un cambio de rol, inicie sesión en el nodo secundario para borrar la ranura.

Tablas temporales

DTS crea las siguientes tablas temporales en la base de datos de origen para capturar sentencias DDL, estructuras incrementales de tablas y datos de latido. No elimine estas tablas mientras la tarea esté en ejecución, ya que se quitan automáticamente cuando se libera la instancia de DTS:

public.dts_pg_class, public.dts_pg_attribute, public.dts_pg_type, public.dts_pg_enum, public.dts_postgres_heartbeat, public.dts_ddl_command, public.dts_args_session, public.aliyun_dts_instance

Otros límites

• Una sola tarea de sincronización solo puede sincronizar una base de datos. Cree una tarea independiente por cada base de datos adicional.

• No escriba datos en el clúster de destino desde fuentes distintas a DTS durante la sincronización. Esto provoca inconsistencia en los datos.

• Una tarea de sincronización bidireccional incluye tareas de sincronización directa e inversa. Al configurar o restablecer la tarea, si el objeto de destino de una coincide con el objeto de sincronización de la otra: solo una tarea puede realizar la sincronización completa e incremental; la otra solo admite sincronización incremental. Los datos del origen de una tarea se sincronizan únicamente con el destino de esa misma tarea y no se convierten en datos de origen para la otra tarea.

• La sincronización completa de datos ejecuta operaciones INSERT concurrentes y consume recursos de lectura y escritura en ambos clústeres. Ejecute la sincronización completa fuera del horario pico, cuando la carga de CPU en ambos clústeres sea inferior al 30%. Espere que el espacio de tabla en el destino sea mayor que en el origen tras la sincronización completa debido a la fragmentación de tablas.

• DTS valida el contenido de los datos, pero no valida metadatos como las secuencias. Valide los metadatos manualmente.

• Si una tarea falla, el soporte de DTS intenta restaurarla en un plazo de 8 horas. La restauración puede implicar reiniciar la tarea o ajustar sus parámetros (no los parámetros de la base de datos). Consulte Modify instance parameters para ver la lista de parámetros ajustables.

Políticas de resolución de conflictos

Seleccione una política al configurar la tarea de sincronización bidireccional:

Estas políticas se aplican únicamente cuando la tarea se ejecuta con normalidad. Si la tarea se pausa o se reinicia con latencia, DTS sobrescribe los datos de destino de forma predeterminada, sin importar la política configurada.

Diferencias de configuración entre la tarea directa y la inversa

Antes de comenzar, revise las diferencias entre ambas tareas. Configurar incorrectamente la tarea inversa es la causa más frecuente de errores.

Paso 1: Abrir la lista de tareas de sincronización de datos

Abra la lista de tareas de DTS mediante la consola de DTS o la consola de DMS.

Paso 2: Crear la tarea

Haga clic en Create Task para abrir la página de configuración de la tarea.

Paso 3: Configurar las bases de datos de origen y destino

Haga clic en Test Connectivity and Proceed en la parte inferior de la página.

DTS debe poder alcanzar ambos clústeres. Agregue los bloques de direcciones IP del servicio DTS a la configuración de seguridad de ambos clústeres, ya sea automáticamente durante la prueba de conectividad o manualmente con antelación. Consulte Add the IP address whitelist of DTS servers .

Paso 4: Configurar los objetos de sincronización

En la página Configure Objects, defina las siguientes opciones:

Haga clic en Next: Advanced Settings.

Paso 5: Configurar ajustes avanzados

Paso 6: Configurar la verificación de datos (opcional)

Haga clic en Data Verification para configurar una tarea de verificación de datos. Consulte Configure data verification.

DTS valida el contenido de los datos, pero no valida metadatos como las secuencias. Valide los metadatos manualmente después de la sincronización.

Paso 7: Guardar la configuración, ejecutar la verificación previa y adquirir la instancia

1. Para previsualizar los parámetros de la API antes de guardar, pase el cursor sobre Next: Save Task Settings and Precheck y haga clic en Preview OpenAPI parameters.

2. Haga clic en Next: Save Task Settings and Precheck. DTS ejecuta una verificación previa antes de iniciar la tarea.

   • Si la verificación previa falla, haga clic en View Details junto al elemento fallido, corrija el problema y vuelva a ejecutar la verificación.

   • Si la verificación previa muestra advertencias:

     • Para advertencias no ignorables: haga clic en View Details, corrija el problema y vuelva a ejecutar.

     • Para advertencias ignorables: haga clic en Confirm Alert Details > Ignore > OK > Precheck Again. Ignorar advertencias puede causar inconsistencias en los datos.

3. Cuando Success Rate alcance 100%, haga clic en Next: Purchase Instance.

4. En la página Purchase, seleccione las opciones de facturación e instancia:

   Opción	Descripción
   Billing Method	Subscription: Pago anticipado por una duración fija. Ideal para tareas continuas a largo plazo. Pay-as-you-go: Facturación por hora. Ideal para tareas de corto plazo o de prueba.
   Resource Group Settings	El resource group para la instancia. Predeterminado: default resource group. Consulte What is Resource Management?
   Instance Class	Seleccione según el rendimiento de sincronización requerido. Consulte Data synchronization link specifications.
   Subscription Duration	Disponible cuando se selecciona Subscription. Mensual: 1–9 meses. Anual: 1, 2, 3 o 5 años.

5. Marque la casilla Data Transmission Service (Pay-as-you-go) Service Terms y luego haga clic en Buy and Start > OK.

La tarea de sincronización directa aparecerá en la página de sincronización de datos.

Paso 8: Configurar la tarea de sincronización inversa

1. Espere hasta que el Status de la tarea directa muestre Running.

2. En la columna Actions de la tarea inversa, haga clic en Configure Task.

3. Repita los pasos 3–6 para la tarea inversa, con las siguientes diferencias:

   Importante

   • El origen y el destino están intercambiados: el destino de la tarea directa es el origen en la tarea inversa, y viceversa. Verifique cuidadosamente los ID de instancia, nombres de bases de datos, cuentas y contraseñas.

   • Instance Region no se puede cambiar para la tarea inversa. Hay menos opciones de configuración disponibles.

   • Processing Mode of Conflicting Tables para la tarea inversa no verifica las tablas ya sincronizadas por la tarea directa.

   • La tarea inversa solo puede sincronizar objetos que ya estén en la lista de Selected Objects de la tarea directa.

   • No utilice la función de asignación de nombres de objetos en la tarea inversa, ya que esto puede causar inconsistencia en los datos.

4. Cuando Success Rate muestre 100%, haga clic en Back.

5. Espere hasta que tanto la tarea directa como la inversa muestren Status como Running.

La sincronización bidireccional ahora está activa.