Data Transmission Service:One-way synchronization between PolarDB for PostgreSQL (Compatible with Oracle) clusters

Límites de la base de datos de origen

Ancho de banda El servidor donde se aloja la base de datos de origen debe tener suficiente ancho de banda de salida. Un ancho de banda insuficiente reduce la velocidad de sincronización.

Tablas sin clave primaria ni restricción UNIQUE Habilite la función Exactly-Once write al configurar la tarea. De lo contrario, podrían aparecer datos duplicados en la base de datos de destino. Para obtener más información, consulte Synchronize tables without a primary key or UNIQUE constraint.

Más de 1,000 tablas con asignación de nombres Si los objetos de sincronización son tablas con asignación de nombres de tabla o columna, y una sola tarea supera las 1,000 tablas, divida las tablas en varias tareas o configure la tarea para sincronizar toda la base de datos. Superar este límite puede generar un error de solicitud al enviar la tarea.

Retención de WAL Habilite WAL y establezca el periodo de retención según los tipos de sincronización de su tarea:

• Solo sincronización incremental: conserve los registros WAL durante más de 24 horas

• Sincronización completa e incremental: conserve los registros WAL como mínimo 7 días. Una vez finalizada la sincronización completa, puede establecer el periodo de retención en más de 24 horas

Si DTS no puede obtener los registros WAL, la tarea presenta errores. En casos extremos, puede producirse inconsistencia o pérdida de datos. Los problemas causados por un periodo de retención de WAL inferior al requerido por DTS no están cubiertos por el acuerdo de nivel de servicio (SLA).

Transacciones de larga duración Las transacciones prolongadas provocan la acumulación de WAL hasta que se confirman. Esto puede agotar el espacio en disco de la base de datos de origen durante la sincronización incremental.

Operaciones DDL durante la sincronización No ejecute operaciones DDL que modifiquen la estructura de la base de datos o de las tablas durante la sincronización de esquemas o la sincronización completa de datos. Hacerlo provoca que la tarea presente errores.

Escrituras durante la sincronización solo completa No escriba datos nuevos en el clúster de origen si la tarea ejecuta únicamente la sincronización completa de datos, ya que se generará inconsistencia de datos. Para mantener la consistencia en tiempo real, incluya en la tarea la sincronización de esquemas, la sincronización completa de datos y la sincronización incremental de datos.

Datos incrementales individuales mayores a 256 MB Si un dato individual supera los 256 MB después de un cambio incremental, la instancia de sincronización puede presentar errores y no se podrá recuperar. Vuelva a configurar la instancia de sincronización.

Otros límites

Una base de datos por tarea Una sola tarea de sincronización solo puede sincronizar una base de datos. Configure una tarea independiente para cada base de datos adicional.

Objetos no compatibles DTS no admite tablas de la extensión TimescaleDB, tablas con herencia entre esquemas ni tablas con índices únicos basados en expresiones. Los esquemas creados al instalar complementos no se pueden sincronizar y no aparecen en la consola durante la configuración de la tarea.

Campos de tipo SERIAL Si una tabla contiene un campo de tipo de datos SERIAL, la base de datos de origen crea automáticamente una secuencia para ese campo. Al configurar Source Objects, si selecciona Schema Synchronization como tipo de sincronización, seleccione también Sequence o sincronice todo el esquema. De lo contrario, la instancia de sincronización podría presentar errores.

Requisito de REPLICA IDENTITY FULL Ejecute el siguiente comando en cada tabla que se sincronizará en la base de datos de origen antes de escribir datos en ella. Esto garantiza la consistencia de los datos. No bloquee las tablas mientras ejecuta este comando para evitar interbloqueos.

ALTER TABLE schema.table REPLICA IDENTITY FULL;

Reemplace schema y table con el nombre real del esquema y de la tabla. Ejecute este comando fuera del horario de mayor actividad.

Este comando es obligatorio en los siguientes escenarios:

• La primera vez que se ejecuta la instancia

• Seleccionó granularidad a nivel de esquema para la selección de objetos y se crea una tabla nueva en el esquema, o bien se reconstruye una tabla existente con el comando RENAME

• Utiliza la función para modificar objetos de sincronización

Si omite los elementos de comprobación previa relacionados, DTS ejecuta este comando automáticamente durante la inicialización de la instancia.

Tablas temporales en la base de datos de origen DTS crea las siguientes tablas temporales en la base de datos de origen para obtener instrucciones DDL, estructuras de tablas incrementales e información de latidos. No elimine estas tablas durante la sincronización, ya que hacerlo provoca que la tarea funcione de manera anómala. DTS elimina estas tablas automáticamente después de liberar la instancia:

public.dts_pg_class, public.dts_pg_attribute, public.dts_pg_type, public.dts_pg_enum, public.dts_postgres_heartbeat, public.dts_ddl_command, public.dts_args_session, public.aliyun_dts_instance

Tabla de latidos DTS agrega una tabla de latidos llamada dts_postgres_heartbeat a la base de datos de origen para mantener métricas precisas de latencia en la sincronización incremental.

Espacio de replicación DTS crea un espacio de replicación con el prefijo dts_sync_ en la base de datos de origen. Este espacio conserva los registros incrementales de los últimos 15 minutos. Cuando la tarea de sincronización presenta errores o se libera la instancia, DTS intenta borrar el espacio automáticamente.

Secuencias después del cambio de negocio Después de migrar su negocio a la instancia de destino, las secuencias no continúan desde el valor máximo del origen. Actualice el valor de la secuencia en la base de datos de destino antes del cambio de negocio. Para obtener más información, consulte Update the sequence value in the destination database.

Impacto en el rendimiento de la sincronización completa La sincronización completa de datos ejecuta operaciones INSERT simultáneas, lo que consume recursos de lectura y escritura tanto en la base de datos de origen como en la de destino, y genera fragmentación de tablas en el destino. Tras la sincronización completa, el espacio de las tablas de destino será mayor que el del origen. Evalúe el rendimiento antes de sincronizar y ejecute la tarea fuera del horario de mayor actividad, cuando la carga de CPU de ambas bases de datos esté por debajo del 30%.

Precisión de FLOAT y DOUBLE DTS lee los valores FLOAT y DOUBLE mediante ROUND(COLUMN, PRECISION). Si no se define una precisión explícita, DTS utiliza una precisión predeterminada de 38 para FLOAT y 308 para DOUBLE. Compruebe que esta precisión cumple con sus requisitos de negocio.

Recuperación automática de DTS DTS intenta recuperar automáticamente las tareas con errores durante un máximo de siete días. Antes de migrar su negocio a la instancia de destino, finalice o libere la tarea, o bien use el comando REVOKE para revocar los permisos de escritura de la cuenta de DTS en la instancia de destino. Sin este paso, la recuperación automática podría provocar que los datos de origen sobrescriban los datos de destino después del cambio.

Claves externas, disparadores y disparadores de eventos En tareas de sincronización completa o incremental que involucren tablas con claves externas, disparadores o disparadores de eventos, DTS establece temporalmente session_replication_role en replica a nivel de sesión:

• Si la cuenta de la base de datos de destino es una cuenta con privilegios o tiene permisos de superusuario, DTS lo configura automáticamente

• Si la cuenta de destino no tiene estos permisos, establezca manualmente session_replication_role en replica en la base de datos de destino antes de ejecutar la tarea

Durante este periodo, las operaciones de actualización o eliminación en cascada en la base de datos de origen pueden causar inconsistencia de datos. Una vez liberada la tarea de DTS, restablezca session_replication_role a origin.

Sincronización de esquemas y claves externas Durante la sincronización de esquemas, DTS sincroniza las claves externas del origen al destino. Durante la sincronización completa e incremental, DTS deshabilita temporalmente las comprobaciones de restricciones y las operaciones en cascada de claves externas a nivel de sesión. Puede producirse inconsistencia de datos si se ejecutan operaciones de actualización o eliminación en cascada en el origen mientras la tarea está activa.

Recuperación de tareas con errores Si una tarea presenta errores, el personal de soporte de DTS intentará restaurarla en un plazo de ocho horas. Durante la restauración, podrían reiniciar la tarea o ajustar parámetros de la tarea de DTS (no parámetros de la base de datos). Los parámetros que se pueden ajustar se enumeran en Modify instance parameters.

Tablas particionadas Incluya tanto la tabla principal como todas sus particiones secundarias como objetos de sincronización. Las tablas particionadas de PostgreSQL almacenan datos solo en las particiones secundarias, no en la tabla principal. Si excluye las particiones secundarias, sus datos no se sincronizarán, lo que generará inconsistencia de datos.

Paso 1: Ir a la lista de tareas de sincronización de datos

Vaya a la lista de tareas de sincronización de su región de destino mediante una de las siguientes consolas.

Paso 2: Crear una tarea y configurar las conexiones de base de datos

1. Haga clic en Create Task.

2. Configure las bases de datos de origen y de destino con los siguientes parámetros.

Configuración de la tarea

Base de datos de origen

Base de datos de destino

1. Haga clic en Test Connectivity and Proceed.

Agregue los bloques CIDR de los servidores de DTS a la configuración de seguridad de las bases de datos de origen y de destino, ya sea de forma automática o manual, para permitir el acceso. Para obtener más información, consulte Add the IP address whitelist of DTS servers .

Si el origen o el destino es una base de datos autogestionada (es decir, Access Method no es Alibaba Cloud Instance ), haga clic también en Test Connectivity en el cuadro de diálogo CIDR Blocks of DTS Servers .

Paso 3: Configurar los objetos de sincronización

1. En la página Configure Objects, configure los siguientes ajustes.

1. Haga clic en Next: Advanced Settings y configure las siguientes opciones.

1. Haga clic en Next: Data Validation para configurar una tarea de validación de datos. Para obtener más información, consulte Configure data validation.

Paso 4: Guardar la configuración y ejecutar la comprobación previa

• Para previsualizar los parámetros de API de esta tarea, pase el cursor sobre Next: Save Task Settings and Precheck y haga clic en Preview OpenAPI parameters en la información emergente.

• Haga clic en Next: Save Task Settings and Precheck para guardar e iniciar la comprobación previa.

DTS realiza una comprobación previa antes de iniciar la tarea. La tarea solo inicia después de superar dicha comprobación.

Si la comprobación previa presenta errores, haga clic en View Details junto al elemento con errores, corrija el problema según las indicaciones y vuelva a ejecutar la comprobación previa.

Si la comprobación previa genera advertencias:

Para las advertencias que no se pueden ignorar, haga clic en View Details , corrija el problema y vuelva a ejecutar la comprobación previa.

Para las advertencias que se pueden ignorar, haga clic en Confirm Alert Details > Ignore > OK y luego haga clic en Precheck Again . Ignorar las advertencias de la comprobación previa puede generar inconsistencias de datos. Proceda con precaución.

Paso 5: Adquirir la instancia

1. Cuando Success Rate alcance el 100%, haga clic en Next: Purchase Instance.

2. En la página Purchase, seleccione el método de facturación y la clase de instancia.

1. Seleccione la casilla Data Transmission Service (Pay-as-you-go) Service Terms.

2. Haga clic en Buy and Start y luego haga clic en OK en el cuadro de diálogo de confirmación.

Monitoree el progreso de la tarea en la página de sincronización de datos.