Data Transmission Service:Synchronize data from a self-managed PostgreSQL database to an ApsaraDB RDS for PostgreSQL instance

Límites de la base de datos de origen

• Las tablas que se van a sincronizar deben tener restricciones PRIMARY KEY o UNIQUE, y todos los campos deben ser únicos. De lo contrario, la base de datos de destino podría contener registros duplicados.

  Si crea una tarea de sincronización de datos sin seleccionar Schema Synchronization , asegúrese de que la tabla de destino tenga las mismas restricciones PRIMARY KEY o NOT NULL UNIQUE que la tabla de origen.

• Si selecciona tablas como objetos de sincronización y necesita cambiar el nombre de tablas o columnas en la base de datos de destino, una sola tarea admite hasta 5,000 tablas. Para más de 5,000 tablas, configure varias tareas o sincronice toda la base de datos.

• DTS no puede sincronizar tablas temporales, desencadenadores internos ni procedimientos y funciones internos escritos en C. DTS sí puede sincronizar parámetros personalizados de los tipos COMPOSITE, ENUM y RANGE. Las tablas deben tener restricciones PRIMARY KEY, FOREIGN KEY, UNIQUE o CHECK.

• Requisitos de registros WAL:

  • Establezca wal_level en logical.

  • Para sincronización solo incremental: conserve los registros de escritura anticipada (WAL) durante más de 24 horas.

  • Para sincronización completa e incremental: conserve los registros WAL durante al menos 7 días. Una vez completada la sincronización completa, puede reducir el período de retención a más de 24 horas.

  • Si los registros WAL no se conservan durante el tiempo requerido, DTS podría no poder leerlos, lo que provocaría un error en la tarea o pérdida de datos.

• Los valores de max_wal_senders y max_replication_slots deben ser mayores que la suma de: el número de slots de replicación utilizados actualmente en la base de datos de origen, más el número de instancias de DTS cuya fuente es esta base de datos.

• Si ocurre un cambio de rol principal/secundario en la base de datos de origen mientras se ejecuta una tarea de sincronización, la tarea fallará. Después del cambio, inicie sesión en la base de datos secundaria para eliminar el slot de replicación con el prefijo dts_sync_.

• Si la base de datos de origen tiene transacciones de larga duración durante la sincronización incremental, los registros WAL generados antes de que esas transacciones se confirmen pueden acumularse y agotar el espacio en disco.

• Si el origen es una instancia de Cloud SQL for PostgreSQL en Google Cloud Platform, debe establecer el parámetro Database Account en una cuenta de base de datos con el permiso cloudsqlsuperuser. Al seleccionar los objetos que se van a sincronizar, debe seleccionar únicamente los objetos que la cuenta especificada tenga autorización para gestionar. De lo contrario, deberá otorgar el permiso OWNER sobre los objetos seleccionados a la cuenta especificada.

  Una cuenta cloudsqlsuperuser no puede gestionar datos propiedad de otras cuentas cloudsqlsuperuser .

• Si un solo cambio incremental de datos supera los 256 MB, la tarea de sincronización fallará y no se podrá recuperar. Vuelva a configurar la tarea.

• Durante la sincronización de esquemas y la sincronización completa de datos, no ejecute sentencias DDL que modifiquen los esquemas de la base de datos o de las tablas. La tarea fallará.

• Si la base de datos de origen experimenta una actualización de versión principal mientras se ejecuta una tarea, la tarea fallará y no se podrá recuperar. Vuelva a configurar la tarea.

Otros límites

• Una sola tarea de sincronización de datos puede sincronizar información de una única base de datos. Para sincronizar desde varias bases de datos, cree una tarea independiente para cada una.

• DTS no puede sincronizar tablas que tengan relaciones de herencia entre esquemas.

• Si selecciona un esquema como objeto de sincronización: cuando cree una tabla en el esquema o cambie el nombre de una tabla con RENAME, ejecute la siguiente sentencia antes de escribir datos en la tabla:

  ALTER TABLE schema.table REPLICA IDENTITY FULL;

  Reemplace schema y table por los nombres reales. Ejecute esta sentencia fuera del horario pico y sin mantener un bloqueo de tabla para evitar interbloqueos.

• DTS no valida metadatos como las secuencias. Verifique manualmente la validez de las secuencias antes y después de la tarea.

• Después de trasladar sus cargas de trabajo a la base de datos de destino, las secuencias recién escritas no continuarán desde el valor máximo del origen. Actualice el valor inicial de las secuencias en la base de datos de destino antes de realizar el corte.

• DTS crea las siguientes tablas temporales en la base de datos de origen durante la sincronización. No las elimine mientras la tarea esté en ejecución. Se eliminan automáticamente cuando se libera la instancia de DTS:

  • public.dts_pg_class

  • public.dts_pg_attribute

  • public.dts_pg_type

  • public.dts_pg_enum

  • public.dts_postgres_heartbeat

  • public.dts_ddl_command

  • public.dts_args_session

• DTS agrega una tabla de latidos llamada dts_postgres_heartbeat a la base de datos de origen para rastrear la latencia de sincronización.

• DTS crea un slot de replicación con el prefijo dts_sync_ en la base de datos de origen y lo utiliza para leer registros incrementales de los últimos 15 minutos. El slot se elimina automáticamente cuando la tarea se libera o falla. Si ocurre un cambio de rol principal/secundario, elimine manualmente el slot de la base de datos secundaria.

  

• Evalúe el impacto en el rendimiento de ambas bases de datos antes de iniciar la sincronización y programe la tarea fuera del horario pico. Durante la sincronización completa inicial, DTS utiliza recursos de lectura y escritura en ambas bases de datos, lo que aumenta la carga del servidor.

• Durante la sincronización completa inicial, las operaciones INSERT simultáneas causan fragmentación de tablas en la base de datos de destino. El espacio de tablas utilizado por la base de datos de destino será mayor que el de la base de datos de origen una vez completada la sincronización completa.

• Si DTS es la única fuente que escribe en la base de datos de destino, puede utilizar Data Management Service (DMS) para ejecutar operaciones DDL en línea sobre las tablas de origen durante la sincronización. Consulte Cambiar esquemas sin bloquear tablas.

• Si se escriben datos de otras fuentes en la base de datos de destino durante la sincronización, puede producirse inconsistencia en los datos. Ejecutar sentencias DDL en línea en DMS mientras otras fuentes escriben en el destino puede provocar pérdida de datos.

• Si utiliza una cuenta privilegiada o de superusuario para la base de datos de destino, y las tablas que se sincronizan contienen claves externas, desencadenadores o desencadenadores de eventos, DTS establece temporalmente session_replication_role en replica a nivel de sesión. Si la cuenta de destino no tiene permisos suficientes, establezca manualmente session_replication_role en replica. Las operaciones UPDATE o DELETE en cascada en el origen durante este período pueden causar inconsistencia en los datos. Después de liberar la tarea, restablezca session_replication_role a origin.

• Si una tarea de DTS falla, el soporte técnico de DTS intentará restaurarla dentro de un plazo de 8 horas. Durante la restauración, la tarea podría reiniciarse y ciertos parámetros de la tarea podrían modificarse (los parámetros de la base de datos no se cambian). Para consultar los parámetros que podrían modificarse, véase Modificar parámetros de instancia.

Límites de sincronización de DDL

La sincronización de DDL solo está disponible para tareas creadas después del 1 de octubre de 2020.

Para la sincronización de DDL, la cuenta de la base de datos de origen debe ser una cuenta privilegiada y la versión menor de la base de datos debe ser 20210228 o posterior. Sentencias DDL compatibles:

• CREATE TABLE y DROP TABLE

• ALTER TABLE: RENAME TABLE, ADD COLUMN, ADD COLUMN DEFAULT, ALTER COLUMN TYPE, DROP COLUMN, ADD CONSTRAINT, ADD CONSTRAINT CHECK, ALTER COLUMN DROP DEFAULT

• TRUNCATE TABLE (PostgreSQL 11 o posterior)

• CREATE INDEX ON TABLE

Sentencias DDL que no se pueden sincronizar:

• Sentencias con modificadores CASCADE o RESTRICT

• DDL de sesiones que han ejecutado SET session_replication_role = replica

• DDL ejecutado mediante la invocación de funciones

• DDL mezclado con DML en la misma confirmación (commit)

• DDL para objetos no seleccionados para sincronización

Paso 1: Comprobar y configurar los ajustes de WAL

1. Inicie sesión en el servidor que aloja la base de datos PostgreSQL autogestionada.

2. Consulte el número de slots de replicación utilizados actualmente:

   SELECT count(1) FROM pg_replication_slots;

3. Abra postgresql.conf y configure los siguientes parámetros. Los valores de max_wal_senders y max_replication_slots deben superar individualmente la suma de: el número actual de slots de replicación utilizados más el número de instancias de DTS que tienen como destino esta base de datos.

   # Replication settings
   wal_level = logical          # Change requires restart
   
   max_wal_senders = 10         # Max number of walsender processes; change requires restart
   max_replication_slots = 10   # Max number of replication slots; change requires restart

   Reinicie la base de datos después de guardar estos cambios.

Paso 2: Permitir el acceso al servidor de DTS

Agregue los bloques CIDR de los servidores de DTS a pg_hba.conf. Agregue únicamente los bloques CIDR correspondientes a los servidores de DTS en la misma región que la base de datos de destino. Consulte Add the CIDR blocks of DTS servers.

Después de actualizar pg_hba.conf, ejecute la siguiente sentencia o reinicie la base de datos para aplicar los cambios:

SELECT pg_reload_conf();

Omita este paso si pg_hba.conf ya contiene 0.0.0.0/0 . Para consultar referencia sobre el formato del archivo, véase El archivo pg_hba.conf .

Paso 3: Crear la base de datos y el esquema de destino

En la instancia de RDS, cree una base de datos y un esquema que coincidan con los del origen. Los nombres de esquema en las bases de datos de origen y de destino deben ser idénticos. Consulte Create a database y Gestionar cuentas mediante esquemas.

Pasos adicionales para PostgreSQL 9.4.8 a 10.0

Si la versión de su base de datos de origen se encuentra en el rango de PostgreSQL 9.4.8 a 10.0, complete los siguientes pasos antes de configurar la tarea de sincronización.

1. Compilar e instalar PostgreSQL desde el código fuente

1. Inicie sesión en el servidor.

2. Descargue el código fuente de su versión de PostgreSQL desde el sitio web oficial de PostgreSQL.

3. Ejecute los siguientes comandos para configurar, compilar e instalar:

   Importante

   • La versión del sistema operativo debe ser compatible con la versión de GNU Compiler Collection (GCC) utilizada. - Si sudo ./configure falla con un error como readline library not found, agregue la bandera --without-readline: sudo ./configure --without-readline. - Si instala PostgreSQL mediante otro método, compile ali_decoding en un entorno de prueba con las mismas versiones de sistema operativo y GCC.

   sudo ./configure
   sudo make
   sudo make install

2. Compilar e instalar la extensión ali_decoding

1. Descargue ali_decoding.

2. Copie el directorio ali_decoding en el directorio contrib de la instalación compilada de PostgreSQL.

   

3. En el directorio ali_decoding, reemplace el contenido del Makefile con lo siguiente:

   # contrib/ali_decoding/Makefile
   MODULE_big = ali_decoding
   MODULES = ali_decoding
   OBJS    = ali_decoding.o
   
   DATA = ali_decoding--0.0.1.sql ali_decoding--unpackaged--0.0.1.sql
   
   EXTENSION = ali_decoding
   
   NAME = ali_decoding
   
   ifdef USE_PGXS
   PG_CONFIG = pg_config
   PGXS := $(shell $(PG_CONFIG) --pgxs)
   include $(PGXS)
   else
   subdir = contrib/ali_decoding
   top_builddir = ../..
   include $(top_builddir)/src/Makefile.global
   include $(top_srcdir)/contrib/contrib-global.mk
   endif

4. En el directorio ali_decoding, compile e instale la extensión:

   sudo make
   sudo make install

5. Copie los archivos generados a los directorios que se muestran a continuación.

   

6. Cree la base de datos y el esquema de destino en la instancia de RDS, tal como se describe en Paso 3: Crear la base de datos y el esquema de destino.

Paso 1: Abrir la página Data Synchronization

Utilice la consola de DTS o la consola de DMS.

Consola de DTS:

1. Inicie sesión en la consola de DTS.

2. En el panel de navegación izquierdo, haga clic en Data Synchronization.

3. En la esquina superior izquierda, seleccione la región donde residirá la instancia de sincronización.

Consola de DMS:

El diseño puede variar según el modo de su consola de DMS. Consulte Simple mode y Customize the layout and style of the DMS console .

1. Inicie sesión en la consola de DMS.

2. En la barra de navegación superior, pase el puntero sobre Data + AI y elija DTS (DTS) > Data Synchronization.

3. En la lista desplegable junto a Data Synchronization Tasks, seleccione la región de destino.

Paso 2: Crear la tarea

Haga clic en Create Task para abrir la página de configuración de la tarea.

Si la página muestra un botón New Configuration Page en la esquina superior derecha, haga clic en él para cambiar a la nueva versión.

Si en su lugar se muestra Back to Previous Version , ya se encuentra en la nueva página de configuración. Se recomienda utilizar la nueva versión.

Paso 3: Configurar las bases de datos de origen y de destino

Paso 4: Probar la conectividad

Haga clic en Test Connectivity and Proceed en la parte inferior de la página.

Debe agregar los bloques CIDR de los servidores de DTS a la configuración de seguridad de las bases de datos de origen y de destino. Consulte Add the CIDR blocks of DTS servers .

Si el método de acceso a la base de datos de origen no es Alibaba Cloud Instance , haga clic en Test Connectivity en el cuadro de diálogo CIDR Blocks of DTS Servers que aparece.

Paso 5: Configurar los objetos de sincronización

En el paso Configure Objects, establezca los siguientes parámetros.

Paso 6: Configurar los ajustes avanzados

Haga clic en Next: Advanced Settings y configure los siguientes parámetros.

Paso 7: Configurar la verificación de datos

Haga clic en Next Step: Data Verification para configurar la verificación. Consulte Configure a data verification task.

Paso 8: Ejecutar la verificación previa

Haga clic en Next: Save Task Settings and Precheck.

Para previsualizar los parámetros de la API correspondientes a esta configuración, pase el puntero sobre Next: Save Task Settings and Precheck y haga clic en Preview OpenAPI parameters .

DTS ejecuta una verificación previa antes de que la tarea pueda iniciarse. La tarea solo comienza después de superar dicha verificación.

Si la verificación previa falla, haga clic en View Details junto a cada elemento fallido, resuelva los problemas y haga clic en Precheck Again .

Para los elementos de alerta que pueden ignorarse de forma segura: haga clic en Confirm Alert Details , luego en Ignore y confirme. A continuación, haga clic en Precheck Again . Ignorar alertas puede provocar inconsistencia en los datos.

Paso 9: Adquirir la instancia de sincronización

Espere hasta que el Success Rate alcance el 100% y luego haga clic en Next: Purchase Instance.

En la página Buy, configure los siguientes parámetros.

Seleccione Data Transmission Service (Pay-as-you-go) Service Terms y luego haga clic en Buy and Start. En el cuadro de diálogo, haga clic en OK.

Una vez adquirida la instancia, la tarea se inicia automáticamente. Supervise su progreso en la lista de tareas.

Verificar la consistencia de los datos

Una vez que la tarea alcance la fase de sincronización incremental, compruebe que los datos en las bases de datos de origen y de destino sean consistentes antes de cambiar sus cargas de trabajo.

Para realizar una comprobación exhaustiva, utilice la función de verificación de datos de DTS. Consulte Configure a data verification task.

Cambiar las cargas de trabajo a la base de datos de destino

Antes de cambiar las cargas de trabajo, confirme que la latencia de sincronización sea igual o cercana a 0. Puede monitorear la latencia desde la lista de tareas en la consola de DTS.

Antes del corte:

1. Detenga las escrituras en la base de datos de origen para permitir que se sincronicen los cambios restantes.

2. Espere a que la latencia de sincronización llegue a 0.

3. Actualice el valor inicial de las secuencias en la base de datos de destino. Las secuencias recién escritas no continuarán desde el valor máximo del origen después del corte.

Después del corte, si session_replication_role se estableció en replica durante la sincronización, restablézcalo a origin.