Data Transmission Service:Sincronizar datos de un clúster de PolarDB for MySQL a una instancia de AnalyticDB for PostgreSQL

Base de datos de origen

• Las tablas que se van a sincronizar deben tener una clave primaria o una restricción UNIQUE con campos únicos. De lo contrario, podrían aparecer datos duplicados en la base de datos de destino.

• En la sincronización a nivel de tabla donde necesite editar las tablas (por ejemplo, para mapear nombres de columnas), una sola tarea admite un máximo de 1,000 tablas. Si supera este límite, divida las tablas en varias tareas o configure una tarea para sincronizar toda la base de datos.

• La retención del registro binario debe ser de como mínimo 3 días. Si DTS no logra obtener los registros binarios, la tarea podría terminar con errores; en casos extremos, esto provoca inconsistencia o pérdida de datos. Los problemas derivados de un periodo de retención inferior al necesario no están cubiertos por el acuerdo de nivel de servicio (SLA) de DTS.

• No ejecute operaciones DDL que modifiquen claves primarias o agreguen comentarios de tabla (por ejemplo, ALTER TABLE table_name COMMENT='Table comment';) durante la sincronización. Estas operaciones terminarán con errores.

• No ejecute operaciones DDL que cambien los esquemas de bases de datos o tablas durante la sincronización de esquemas ni durante la sincronización completa. La tarea terminará con errores. Durante la sincronización completa, DTS consulta la base de datos de origen y genera bloqueos de metadatos que pueden impedir las operaciones DDL en el origen.

• Si la base de datos de origen contiene valores de fecha como 0000-00-00 00:00:00, la tarea podría terminar con errores. DTS convierte estos valores a null en el destino. Como alternativa, cambie los valores de origen a 0001-01-01 00:00:00 o configure el campo de destino para que admita valores nulos.

Otras limitaciones

• Solo se admite la sincronización a nivel de tabla.

• Los siguientes tipos de datos no son compatibles: BIT, VARBIT, GEOMETRY, ARRAY, UUID, TSQUERY, TSVECTOR, TXID_SNAPSHOT.

• No se admiten índices de prefijo. Si el origen tiene índices de prefijo, la sincronización podría terminar con errores.

• No se admite la sincronización desde un nodo de solo lectura del clúster de PolarDB for MySQL de origen.

• No es posible sincronizar tablas externas de OSS desde el origen.

• Los siguientes tipos de objetos no son compatibles: PARTITION, VIEW, PROCEDURE, FUNCTION, TRIGGER, FK, INDEX.

• No se admiten tablas Append-Only (AO) como tablas de destino.

• No se admite la conmutación por error entre nodos principal y secundario durante la sincronización completa inicial de datos. Si ocurre una conmutación, vuelva a configurar la tarea.

• Herramientas DDL en línea: pt-online-schema-change no es compatible y provocará que la tarea termine con errores. Al usar DDL en línea en modo de tabla temporal o índices basados en funciones sobre columnas de clave única, podría haber pérdida de datos o fallos en la tarea.

• Si utiliza mapeo de columnas para una sincronización que no incluya toda la tabla, o si los esquemas de origen y destino difieren, se perderán los datos de las columnas ausentes en la tabla de destino.

• Si la tabla que se va a sincronizar tiene clave primaria, la columna de clave primaria en la tabla de destino debe coincidir con la de origen. Si la tabla carece de clave primaria, la columna de clave primaria en la tabla de destino debe coincidir con la clave de distribución.

• La clave única de la tabla de destino, incluida la columna de clave primaria, debe contener todas las columnas de la clave de distribución.

• La sincronización completa inicial ejecuta operaciones INSERT simultáneas, lo cual genera fragmentación. Por ello, el espacio de tablas de la instancia de destino podría ser mayor que el del origen una vez finalizada la sincronización completa.

• Programe la sincronización fuera del horario de mayor demanda. La sincronización completa consume recursos de lectura y escritura en ambas bases de datos y puede aumentar la carga.

• En la sincronización a nivel de tabla, no escriba en la base de datos de destino datos distintos a los generados por DTS. Esto podría causar inconsistencias entre el origen y el destino.

• En la sincronización a nivel de tabla, no utilice pt-online-schema-change para ejecutar operaciones DDL en línea sobre los objetos de sincronización en la base de datos de origen.

• En la sincronización a nivel de tabla, si no se escriben datos distintos a los de DTS en la base de datos de destino, puede utilizar Data Management (DMS) para las operaciones DDL en línea. Consulte Change schemas without locking tables.

• Si una tarea termina con errores, el equipo de soporte de DTS intentará restaurarla en un plazo de 8 horas. Es posible que reinicien la tarea o ajusten parámetros de la tarea de DTS (no parámetros de la base de datos). Los parámetros que se pueden ajustar se enumeran en Modify instance parameters.

Comportamiento de resolución de conflictos

Notas de uso

• DTS ejecuta periódicamente CREATE DATABASE IF NOT EXISTS \ test\`` en la base de datos de origen para avanzar el desplazamiento del registro binario.

• Cuando utilice DMS o gh-ost para cambios DDL en línea, configure la opción avanzada Copy the temporary table of the Online DDL tool según corresponda.

Paso 1: Abrir la página de configuración de la tarea

1. Inicie sesión en la consola de Data Management (DMS).

2. En la barra de navegación superior, haga clic en Data + AI.

3. En el panel de navegación izquierdo, elija DTS (DTS) > Data Synchronization.

   La ruta de navegación puede variar según el modo y el diseño de la consola de DMS. Consulte Simple mode console y Customize the layout and style of the DMS console . También puede ir directamente a la página Data Synchronization Tasks de la consola de DTS .

4. Haga clic en Create Task.

Paso 2: Configurar las bases de datos de origen y destino

En la página de configuración de la tarea, complete los siguientes campos:

Después de completar todos los campos, haga clic en Test Connectivity and Proceed.

Asegúrese de que los bloques de direcciones IP de DTS se hayan agregado a la configuración de seguridad de las bases de datos de origen y destino, ya sea de forma automática mediante DTS o de forma manual. Consulte Add the IP address whitelist of DTS servers .

Paso 3: Configurar los objetos de sincronización

En la página Configure Objects, configure los siguientes ajustes:

Synchronization types

DTS siempre selecciona Incremental Data Synchronization. Seleccione también Schema Synchronization y Full Data Synchronization (esta última está seleccionada de forma predeterminada). Después de la comprobación previa, DTS inicializa la instancia de destino con todos los datos de los objetos de origen seleccionados, lo cual sirve como línea base para la sincronización incremental posterior. Con los tres tipos habilitados, DTS realiza lo siguiente:

1. Copia el esquema en el destino.

2. Carga una instantánea completa de los objetos de origen seleccionados como línea base.

3. Aplica los cambios incrementales continuos del registro binario.

Objetos y operaciones

Paso 4: Configurar los ajustes avanzados

Haga clic en Next: Advanced Settings y configure las siguientes opciones:

Paso 5: Configurar la verificación de datos (opcional)

Haga clic en Data Verification para configurar una tarea de verificación de datos. Consulte Configure data verification.

Paso 6: Configurar los campos de la tabla de destino (opcional)

Haga clic en Next: Configure Database and Table Fields para establecer Type, Primary Key Column y Distribution Key de cada tabla de destino en AnalyticDB for PostgreSQL.

Este paso solo está disponible cuando se selecciona Schema Synchronization . Establezca Definition Status en All para modificar los campos. Para formar una clave primaria compuesta, especifique varias columnas en Primary Key Column y luego seleccione una o más de esas columnas como Distribution Key . Consulte Manage tables y Define table distribution .

Paso 7: Ejecutar la comprobación previa

Haga clic en Next: Save Task Settings and Precheck.

Para previsualizar los parámetros de la API correspondientes a esta configuración de tarea, coloque el cursor sobre el botón Next: Save Task Settings and Precheck y haga clic en Preview OpenAPI parameters .

Antes de iniciar una tarea de sincronización, DTS ejecuta una comprobación previa. La tarea solo comienza si dicha comprobación es exitosa.

• Si la comprobación previa termina con errores, haga clic en View Details junto al elemento fallido, corrija el problema y vuelva a ejecutar la comprobación.

• Si la comprobación previa devuelve advertencias:

  • Para advertencias que no se pueden ignorar, haga clic en View Details, corrija el problema y vuelva a ejecutar la comprobación previa.

  • Para advertencias que se pueden ignorar, haga clic en Confirm Alert Details, luego en Ignore, después en OK y finalmente en Precheck Again para continuar. Ignorar advertencias puede provocar inconsistencias en los datos. Proceda con precaución.

Paso 8: Comprar e iniciar la instancia

Cuando Success Rate alcance el 100 %, haga clic en Next: Purchase Instance.

En la página Purchase, seleccione el método de facturación y la clase de instancia:

Lea y seleccione Data Transmission Service (Pay-as-you-go) Service Terms, luego haga clic en Buy and Start y confirme en el cuadro de diálogo.

Supervise el progreso de la tarea en la página Data Synchronization Tasks.Data Synchronization Tasks page of the new DTS console