Data Transmission Service:Configure one-way data synchronization between ApsaraDB RDS for PostgreSQL instances

Requisitos de la base de datos de origen

• Las tablas deben tener una restricción PRIMARY KEY o UNIQUE, y todos sus campos deben ser únicos. Sin estas restricciones, la base de datos de destino podría contener registros duplicados.

  Si crea la tarea de sincronización sin seleccionar Schema Synchronization , la tabla de destino debe tener las mismas restricciones PRIMARY KEY o NOT NULL UNIQUE que la tabla de origen. De lo contrario, podrían aparecer registros duplicados.

• Si selecciona tablas como objetos de sincronización y desea cambiar el nombre de tablas o columnas en el destino, una sola tarea admite un máximo de 5,000 tablas. Para más de 5,000 tablas, divida la carga de trabajo en varias tareas o sincronice a nivel de base de datos en lugar de a nivel de tabla.

• DTS no puede sincronizar tablas temporales, desencadenadores internos ni ciertos procedimientos y funciones internas escritos en C. DTS sí puede sincronizar parámetros personalizados de los tipos COMPOSITE, ENUM y RANGE. Las tablas deben tener restricciones PRIMARY KEY, FOREIGN KEY, UNIQUE o CHECK.

• DTS crea un slot de replicación con el prefijo dts_sync_ en la base de datos de origen, lo que le permite acceder a los registros incrementales de los últimos 15 minutos. La acumulación de slots de replicación puede agotar el espacio en disco. Configure una alarma de uso de disco en la instancia de origen cuando la replicación lógica esté activa. Comportamiento de limpieza de slots de replicación:

  • Después de liberar la instancia de DTS, el slot se elimina automáticamente, a menos que haya cambiado la contraseña de la base de datos de origen o eliminado las direcciones IP de DTS de la lista blanca de IP. En esos casos, deberá eliminar el slot manualmente.

  • Si ocurre un cambio de rol primario/secundario en el origen, inicie sesión en la base de datos secundaria y elimine el slot manualmente.

• DTS crea las siguientes tablas temporales en la base de datos de origen para capturar sentencias DDL, esquemas incrementales de tablas e información de latido. No las elimine mientras la sincronización esté en ejecución, ya que se borran automáticamente al liberar la instancia de DTS: public.dts_pg_class, public.dts_pg_attribute, public.dts_pg_type, public.dts_pg_enum, public.dts_postgres_heartbeat, public.dts_ddl_command, public.dts_args_session

• DTS agrega una tabla de latido llamada dts_postgres_heartbeat a la base de datos de origen para rastrear con precisión la latencia de sincronización.

• Para realizar un cambio de rol primario/secundario en la instancia de origen de ApsaraDB RDS for PostgreSQL sin interrumpir la sincronización, habilite primero la función Logical Replication Slot Failover. Consulte Logical Replication Slot Failover.

• Si un solo cambio incremental de datos supera los 256 MB, la instancia de sincronización en ejecución fallará y no podrá recuperarse; deberá reconfigurar la tarea.

• Durante la sincronización de esquemas y la sincronización completa de datos, no ejecute sentencias DDL que modifiquen los esquemas de la base de datos o de las tablas. Si lo hace, la tarea fallará.

• Si la base de datos de origen tiene transacciones de larga duración durante la sincronización incremental de datos, los registros WAL generados antes de que se confirmen dichas transacciones pueden acumularse y agotar el espacio en disco.

• Si se realiza una actualización de versión principal en la base de datos de origen mientras una instancia de sincronización está en ejecución, la instancia fallará y no podrá recuperarse; deberá reconfigurar la tarea.

Otros requisitos

• Una sola tarea sincroniza datos de una única base de datos. Para sincronizar varias bases de datos, cree una tarea independiente para cada una.

• DTS no puede sincronizar tablas que tengan relaciones de herencia entre distintos esquemas.

• Si selecciona un esquema como objeto de sincronización, ejecute la siguiente sentencia antes de escribir datos en cualquier tabla nueva o renombrada dentro de ese esquema:

  ALTER TABLE schema.table REPLICA IDENTITY FULL;

  Reemplace schema y table por los nombres reales. Ejecute esta sentencia fuera de horas pico y evite bloquear la tabla, ya que hacerlo durante la ejecución puede causar un interbloqueo.

• DTS no valida metadatos como las secuencias. Compruebe manualmente la validez de las secuencias.

• Antes de trasladar las cargas de trabajo a la base de datos de destino, actualice el valor inicial de las secuencias en el destino. Después del cambio, las nuevas escrituras en secuencias no continuarán desde el valor máximo registrado en el origen.

• Cuando la cuenta de destino es privilegiada o de superusuario y las tablas sincronizadas contienen claves externas, desencadenadores o desencadenadores de eventos, DTS establece temporalmente session_replication_role en replica a nivel de sesión. Si la cuenta de destino carece de los permisos necesarios, establezca este parámetro en replica manualmente. Las operaciones UPDATE o DELETE en cascada en el origen durante este periodo pueden causar inconsistencia de datos. Una vez liberada la tarea, restablezca el parámetro a origin.

• Escribir datos desde otros orígenes en la base de datos de destino durante la sincronización provoca inconsistencia de datos. Por ejemplo, ejecutar sentencias DDL en línea desde DMS mientras otros orígenes escriben en la base de datos de destino puede causar pérdida de datos.

• Si una tarea falla, el soporte técnico de DTS intentará restaurarla en un plazo de 8 horas. Durante la restauración, la tarea podría reiniciarse y sus parámetros (no los de la base de datos) podrían modificarse.

Requisitos para tipos específicos de bases de datos de origen

Origen ApsaraDB RDS for PostgreSQL

No modifique el endpoint ni la zona de la instancia de origen mientras la sincronización esté en ejecución. Esto provocará el fallo de la tarea.

Origen PostgreSQL autogestionado

Los valores de max_wal_senders y max_replication_slots deben ser mayores, cada uno, que la suma de los slots de replicación actualmente en uso y el número de instancias de DTS que planea crear para esta base de datos.

Origen Cloud SQL for PostgreSQL (Google Cloud)

Establezca Database Account en una cuenta con el permiso cloudsqlsuperuser. Al seleccionar los objetos a sincronizar, elija solo aquellos que la cuenta tenga autorización para gestionar, o concédale el permiso OWNER sobre dichos objetos.

Una cuenta con el permiso cloudsqlsuperuser no puede gestionar datos propiedad de otras cuentas con el mismo permiso.

Paso 1: Abrir la página de sincronización de datos

Utilice la consola de DTS o la consola de DMS.

Paso 2: Crear la tarea

1. Haga clic en Create Task.

2. Si la página muestra un botón New Configuration Page en la esquina superior derecha, haga clic en él.

   Omita este paso si se muestra Back to Previous Version en su lugar. Las páginas de configuración nueva y anterior pueden diferir ligeramente; utilice la versión nueva.

Paso 3: Configurar las bases de datos de origen y destino

Paso 4: Probar la conectividad

Haga clic en Test Connectivity and Proceed en la parte inferior de la página.

Los bloques CIDR de los servidores de DTS deben agregarse a la configuración de seguridad de ambas bases de datos. Consulte Add the CIDR blocks of DTS servers . Si alguna de las bases de datos es autogestionada y no está configurada con acceso de tipo Alibaba Cloud Instance , haga clic en Test Connectivity en el cuadro de diálogo CIDR Blocks of DTS Servers .

Paso 5: Configurar los objetos a sincronizar

En el paso Configure Objects, configure los siguientes parámetros:

Paso 6: Configurar opciones avanzadas

Haga clic en Next: Advanced Settings y configure lo siguiente:

Paso 7: Configurar la verificación de datos (opcional)

Haga clic en Next Step: Data Verification para configurar la verificación. Consulte Configure a data verification task.

Paso 8: Ejecutar la comprobación previa

Haga clic en Next: Save Task Settings and Precheck.

Para previsualizar los parámetros de la API correspondientes a esta configuración de tarea, pase el puntero sobre el botón y haga clic en Preview OpenAPI parameters antes de continuar.

DTS ejecuta una comprobación previa antes de que pueda iniciarse la tarea. Si la comprobación falla:

• Haga clic en View Details junto a cada elemento fallido, resuelva el problema y luego haga clic en Precheck Again.

• Si un elemento muestra una alerta que puede ignorarse, haga clic en Confirm Alert Details > Ignore > OK, y luego haga clic en Precheck Again. Ignorar alertas puede provocar inconsistencia en los datos.

Paso 9: Adquirir e iniciar la instancia

1. Espere hasta que Success Rate alcance 100%, y luego haga clic en Next: Purchase Instance.

2. En la página de compra, configure lo siguiente:

   Sección	Parámetro	Descripción
   New Instance Class	Método de facturación	Subscription: Paga por una suscripción al crear una instancia de sincronización de datos. El modelo de facturación por suscripción es más rentable que el modelo pay-as-you-go para uso a largo plazo. Pay-as-you-go: Una instancia pay-as-you-go se factura por hora. El modelo de facturación pay-as-you-go es adecuado para uso a corto plazo. Si ya no necesita una instancia de sincronización de datos pay-as-you-go, puede liberarla para reducir costos.
   	Configuración del resource group	El resource group al que pertenece la instancia de sincronización de datos. Valor predeterminado: default resource group. Para obtener más información, consulte What is Resource Management?
   	Clase de instancia	DTS ofrece clases de instancia que varían en velocidad de sincronización. Puede seleccionar una clase de instancia según sus necesidades empresariales. Para obtener más información, consulte Instance classes of data synchronization instances.
   	Duración de la suscripción	Si selecciona el método de facturación por suscripción, especifique la duración de la misma y la cantidad de instancias de sincronización de datos que desea crear. La duración de la suscripción puede ser de uno a nueve meses, un año, dos años, tres años o cinco años. Nota Este parámetro solo está disponible si selecciona el método de facturación Subscription.

3. Lea y acepte los Data Transmission Service (Pay-as-you-go) Service Terms.

4. Haga clic en Buy and Start, y luego haga clic en OK en el cuadro de diálogo.

Consulte el progreso de la tarea en la lista de tareas.