Data Transmission Service:Sincronizar datos de un clúster de PolarDB for MySQL a una base de datos Doris autogestionada

Base de datos de origen

• Tablas con restricciones PRIMARY KEY o UNIQUE: todos los campos deben ser únicos; de lo contrario, el destino podría contener datos duplicados.

• Tablas sin restricciones PRIMARY KEY ni UNIQUE: seleccione Schema Synchronization en Synchronization Types y duplicate en Engine durante el paso Configurations for Databases, Tables, and Columns.

• Si selecciona tablas (y no bases de datos) como objetos de sincronización y necesita cambiar el nombre de tablas o columnas en el destino, una sola tarea admite hasta 1,000 tablas. Superar este límite provoca un error de solicitud. Configure varias tareas o sincronice toda la base de datos.

• Requisitos del registro binario:

  • loose_polar_log_bin debe establecerse en ON

  • Periodo de retención: como mínimo tres días; se recomiendan siete días.

• No ejecute operaciones DDL que modifiquen los esquemas de bases de datos o tablas durante la sincronización inicial de esquemas ni durante la sincronización inicial completa de datos. DTS consulta la base de datos de origen durante la sincronización completa, lo que genera bloqueos de metadatos que pueden impedir las operaciones DDL.

• Los cambios provenientes de operaciones no registradas en los registros binarios (como datos restaurados desde copias de seguridad físicas o generados por operaciones en cascada) no se sincronizan con el destino. Si esto ocurre y su negocio lo permite, elimine y vuelva a agregar la base de datos o tabla afectada entre los objetos de sincronización. Consulte Modify synchronization objects.

Limitaciones generales

• DTS no sincroniza los nodos de solo lectura del clúster de PolarDB for MySQL de origen.

• DTS no sincroniza las tablas externas de Object Storage Service (OSS) del origen.

• No se admite el cambio entre nodo principal y en espera durante la sincronización inicial completa de datos. Si ocurre un cambio, vuelva a configurar la tarea de sincronización.

• Solo se admiten tablas que usan Unique Key Model o Duplicate Key Model en Doris. Al utilizar Duplicate Key Model, DTS convierte las instrucciones UPDATE y DELETE en instrucciones INSERT. Pueden aparecer datos duplicados si ocurre alguna de las siguientes situaciones. Utilice las columnas adicionales _is_deleted, _version y _record_id para deduplicar cuando sea necesario (consulte Additional columns added by DTS).

  • Se ejecuta una operación de reintento en la instancia de sincronización de datos.

  • Se reinicia la instancia.

  • Se aplican dos o más operaciones DML a la misma fila después de iniciar la instancia.

• En la sección Selected Objects solo se puede especificar el parámetro bucket_count. El valor debe ser un número entero positivo. Valor predeterminado: auto.

• No cree clústeres en la base de datos Doris de destino durante la sincronización. Si lo hace, la tarea fallará. Reinicie la instancia de sincronización de datos para reanudarla.

• Doris solo admite nombres de bases de datos y tablas que comiencen con una letra. Utilice la función de asignación de nombres de objetos para cambiar el nombre de cualquier objeto que empiece con un carácter distinto de una letra.

• Si el nombre de una base de datos, tabla o columna contiene caracteres chinos, utilice la asignación de nombres de objetos para cambiarlo (por ejemplo, a un nombre en inglés). De lo contrario, la tarea podría fallar.

• No es posible modificar operaciones DDL en varias columnas al mismo tiempo, ni aplicar modificaciones DDL consecutivas sobre una misma tabla.

• No agregue nodos de backend (BE) a la base de datos Doris de destino durante la sincronización. Si lo hace, la tarea fallará. Reinicie la instancia de sincronización de datos para reanudarla.

• En escenarios de fusión de varias tablas (varias tablas de origen sincronizadas hacia una sola tabla de destino), los esquemas de todas las tablas de origen deben ser idénticos. De lo contrario, podrían producirse inconsistencias en los datos o fallos en la tarea.

• En PolarDB for MySQL, VARCHAR(M) define M como longitud en caracteres. En Doris, VARCHAR(N) define N como longitud en bytes. Si no utiliza la sincronización de esquemas, establezca la longitud VARCHAR de Doris en cuatro veces la longitud VARCHAR correspondiente de MySQL para evitar la pérdida de datos.

• Cuando se usa DMS o gh-ost para aplicar cambios DDL en línea en el origen, DTS sincroniza únicamente el DDL original con el destino. Los cambios DDL en línea realizados con pt-online-schema-change no son compatibles y pueden provocar pérdida de datos o fallos de sincronización.

• Durante la sincronización inicial completa de datos, DTS consume recursos de lectura y escritura de ambas bases de datos. Evalúe previamente el impacto en el rendimiento y programe la sincronización en horarios de baja demanda, cuando el uso de CPU en ambos extremos sea inferior al 30%.

• Las operaciones INSERT simultáneas durante la sincronización inicial completa de datos provocan fragmentación de tablas en el destino. Una vez finalizada la sincronización completa, las tablas de destino podrían ocupar más almacenamiento que las de origen.

• No utilice pt-online-schema-change ni herramientas similares para ejecutar operaciones DDL en línea sobre los objetos de sincronización mientras esta se encuentra activa, ya que provocaría un fallo.

• Si durante la sincronización se escriben datos en la base de datos de destino desde orígenes distintos a DTS, podrían producirse inconsistencias entre el origen y el destino.

• DTS ejecuta periódicamente CREATE DATABASE IF NOT EXISTS \ test\`` en el origen para avanzar la posición del registro binario.

• Durante la sincronización incremental, DTS aplica una estrategia por lotes y escribe en cada objeto de sincronización como máximo una vez cada cinco segundos. Esto puede generar una latencia de sincronización normal inferior a 10 segundos. Para reducirla, ajuste el parámetro selectdb.reservoir.timeout.milliseconds (rango: 1,000–10,000 milisegundos) en la consola de DTS. Los intervalos de procesamiento por lotes más cortos aumentan la frecuencia de escritura, lo que puede elevar la carga y el tiempo de respuesta del destino.

• Si una instancia presenta errores, el soporte de DTS intenta recuperarla en un plazo de ocho horas. Durante la recuperación, la instancia podría reiniciarse o ajustarse sus parámetros. Solo se modifican los parámetros de la instancia de DTS; los de la base de datos permanecen sin cambios.

• No se admite la sincronización de datos de tipo VECTOR.

Paso 1: Ir a la página de sincronización de datos

Utilice uno de los métodos a continuación:

Paso 2: Configurar las bases de datos de origen y destino

1. Haga clic en Create Task.

2. Configure Task Name. DTS genera un nombre automáticamente. Especifique un nombre descriptivo para identificar la tarea con facilidad; no es obligatorio que sea único.

3. Configure las conexiones de las bases de datos de origen y destino con los parámetros a continuación.

Base de datos de origen (PolarDB for MySQL)

Base de datos de destino (Doris)

1. Haga clic en Test Connectivity and Proceed. En el cuadro de diálogo CIDR Blocks of DTS Servers, haga clic en Test Connectivity.

Asegúrese de que los bloques CIDR de los servidores de DTS estén agregados a la configuración de seguridad de las bases de datos de origen y destino. Consulte Agregar direcciones IP de servidores de DTS a una lista blanca .

Paso 3: Seleccionar los objetos de sincronización

1. En el paso Configure Objects, configure lo siguiente:

1. Haga clic en Next: Advanced Settings y configure lo siguiente:

1. (Opcional) Haga clic en Next: Configure Database and Table Fields. Especifique Primary Key Column, Distribution Key y Engine para cada tabla.

Este paso solo está disponible cuando se selecciona Schema Synchronization . Establezca Definition Status en All para ver todas las tablas.

Primary Key Column admite varias columnas. Distribution Key debe ser un subconjunto de las columnas de clave primaria.

Para las tablas sin claves primarias ni restricciones UNIQUE, seleccione duplicate en Engine . De lo contrario, la tarea podría fallar o perderse datos.

Paso 4: Ejecutar la comprobación previa

Haga clic en Next: Save Task Settings and Precheck.

DTS ejecuta una comprobación previa antes de iniciar la tarea. Esta comienza únicamente después de aprobar todas las comprobaciones.

Si alguna comprobación falla, haga clic en View Details para ver la causa, corrija el problema y vuelva a ejecutar la comprobación previa.

Si aparece una advertencia: corríjala y vuelva a ejecutarla si el elemento no se puede ignorar; haga clic en Confirm Alert Details > Ignore > OK > Precheck Again si el elemento se puede ignorar de forma segura. Ignorar advertencias puede provocar inconsistencias en los datos.

Para previsualizar los parámetros de openapi de esta configuración de tarea, coloque el puntero sobre Next: Save Task Settings and Precheck y haga clic en Preview OpenAPI parameters.

Paso 5: Adquirir una instancia

1. Espere a que Success Rate alcance 100% y luego haga clic en Next: Purchase Instance.

2. En la página de compra, configure lo siguiente:

1. Lea y seleccione Data Transmission Service (Pay-as-you-go) Service Terms.

2. Haga clic en Buy and Start y luego en OK en el cuadro de diálogo.

La tarea aparecerá en la lista de tareas. Desde ahí podrá monitorear su progreso.