Data Transmission Service (DTS) permite sincronizar datos desde una instancia de PolarDB-X 2.0 hacia una instancia de PolarDB-X 1.0, con soporte para sincronización completa e incremental de datos.
Esta función se encuentra en fase beta y solo está disponible para algunos usuarios.
En este tema aprenderá a:
Revisar los requisitos previos y límites antes de empezar
Otorgar los permisos necesarios a las cuentas de base de datos
Configurar una tarea de sincronización de DTS
Ejecutar una verificación previa y adquirir la instancia de sincronización
Requisitos previos
Antes de empezar, asegúrese de contar con lo siguiente:
Una instancia de destino PolarDB-X 1.0 con un espacio de almacenamiento mayor que los datos que se sincronizarán desde la instancia de origen PolarDB-X 2.0. Consulte Create a PolarDB-X 1.0 instance.
Una base de datos y tablas creadas en la instancia de destino para recibir los datos sincronizados. Consulte Create a databaseCreate a database y Perform basic SQL operations.
Los nombres de la base de datos y las tablas en la instancia de destino deben coincidir con los de la instancia de origen PolarDB-X 2.0. Si los nombres difieren, utilice la función de asignación de nombres de objetos en el cuadro Selected Objects de la página Configure Objects al configurar la tarea.
Facturación
|
Tipo de sincronización |
Costo |
|
Sincronización completa de datos |
Sin costo |
|
Sincronización incremental de datos |
Con costo. Consulte Descripción general de facturación. |
Límites
Límites de la base de datos de origen
Ancho de banda: El servidor que aloja la base de datos de origen debe tener suficiente ancho de banda de salida. Un ancho de banda insuficiente reduce la velocidad de sincronización.
Instancias de solo lectura: Las instancias de solo lectura de PolarDB-X 2.0 Enterprise Edition no pueden utilizarse como origen.
-
Restricciones en nombres de tablas:
No es posible sincronizar tablas cuyos nombres contengan letras mayúsculas.
No es posible sincronizar tablas cuyo nombre sea una palabra reservada (por ejemplo,
select).Los objetos
TABLEGROUPy las bases de datos o esquemas que contienen el atributoLocalityno son compatibles.
Requisito de clave primaria: Las tablas deben tener restricciones
PRIMARY KEYoUNIQUEcon todos los campos únicos. De lo contrario, podrían aparecer registros duplicados en la base de datos de destino.Límite de cantidad de tablas: Si selecciona tablas como objetos de sincronización y necesita cambiarles el nombre a las tablas o columnas en el destino, una sola tarea admite hasta 5,000 tablas. Las tareas que superen este límite devolverán un error de solicitud. Divida el trabajo en varias tareas o realice la sincronización a nivel de base de datos.
Configuración de Binlog: El registro binario está habilitado de forma predeterminada en PolarDB-X 2.0. Establezca el parámetro
binlog_row_imageenfull. Si este parámetro no se establece enfull, la verificación previa fallará y la tarea no podrá iniciarse. Consulte Configuración de parámetros.-
Operaciones DDL durante la sincronización completa: No ejecute operaciones DDL que modifiquen el esquema de la base de datos o de las tablas durante la sincronización completa de datos. Las operaciones DDL pueden provocar errores en la tarea.
Durante la sincronización completa de datos, DTS consulta la base de datos de origen. Esto genera bloqueos de metadatos que podrían impedir la ejecución de operaciones DDL en la base de datos de origen.
Cambios de red: Si cambia la configuración de red de la instancia PolarDB-X 2.0, la instancia de sincronización podría experimentar latencia temporal.
Otros límites
-
Latencia de latido: DTS ejecuta periódicamente
CREATE DATABASE IF NOT EXISTS \en la base de datos de origen para escribir datos de latido y avanzar el desplazamiento del Binlog. Si la opción Whether to delete SQL operations on heartbeat tables of forward and reverse tasks está establecida en Yesconfiguración de notificaciones de alerta (o si la cuenta de base de datos utilizada por la instancia de sincronización carece de permiso para crear bases de datos), y no se ejecutan operaciones DML en la base de datos de origen durante un período prolongado, la latencia mostrada podría ser inexacta.Para actualizar la latencia, ejecute una operación DML en la base de datos de origen.
Carga de la base de datos durante la sincronización completa: La sincronización completa de datos consume recursos de lectura y escritura tanto en la base de datos de origen como en la de destino. Evalúe el rendimiento de la base de datos antes de comenzar y ejecute la sincronización en horarios de baja demanda, cuando la carga de CPU en ambas bases de datos sea inferior al 30%.
Fragmentación del almacenamiento: Durante la inicialización completa, DTS ejecuta operaciones INSERT simultáneas, lo que puede causar fragmentación de tablas en la base de datos de destino. Una vez completada la inicialización completa, el espacio de almacenamiento utilizado por las tablas de destino será mayor que el utilizado por las tablas de origen.
Escrituras externas: Si se escriben datos en la base de datos de destino desde fuentes distintas a DTS mientras la instancia de sincronización está en ejecución, podría producirse inconsistencia de datos entre la base de datos de origen y la de destino, y la instancia de sincronización podría fallar.
-
Recuperación de instancias: Si una instancia falla, el servicio de soporte técnico de DTS intentará recuperarla dentro de un plazo de 8 horas. La recuperación puede implicar reiniciar la instancia o ajustar parámetros.
Durante la recuperación solo se modifican los parámetros de la instancia de DTS. Los parámetros de la base de datos no se alteran. Para consultar la lista de parámetros que podrían modificarse, vea Modificar parámetros de instancia .
Operaciones SQL compatibles con la sincronización incremental
|
Tipo de operación |
Sentencias SQL |
|
DML |
INSERT, UPDATE, DELETE |
|
DDL |
CREATE TABLE, RENAME TABLE, ALTER TABLE, TRUNCATE TABLE, DROP TABLE, CREATE INDEX, DROP INDEX |
Notas sobre la sincronización DDL:
Solo se admiten operaciones CREATE TABLE para tablas individuales. No se admite CREATE TABLE para bases de datos y tablas fragmentadas.
Si el origen es una instancia PolarDB-X 2.0 Enterprise Edition, no es posible sincronizar operaciones CREATE INDEX.
RENAME TABLE puede causar inconsistencia en los datos. Si selecciona una tabla como objeto de sincronización y le cambia el nombre durante la sincronización, los datos de esa tabla dejarán de sincronizarse con el destino. Para evitarlo, agregue la base de datos que contiene la tabla a la lista de objetos de sincronización; incluya tanto la base de datos anterior al cambio de nombre como la posterior.
Permisos necesarios para las cuentas de base de datos
|
Base de datos |
Permisos obligatorios |
Referencia |
|
Instancia de origen PolarDB-X 2.0 |
REPLICATION SLAVE, REPLICATION CLIENT y SELECT en los objetos a sincronizar |
Manage database accounts y Account permission issues during data synchronization |
|
Instancia de destino PolarDB-X 1.0 |
Permisos de lectura y escritura |
Crear una tarea de sincronización
Paso 1: Ir a la página Data Synchronization
Utilice uno de los siguientes métodos para abrir la página Data Synchronization.
Consola de DTS
Inicie sesión en la consola de DTS.DTS console
En el panel de navegación izquierdo, haga clic en Data Synchronization.
En la esquina superior izquierda, seleccione la región donde reside la tarea de sincronización.
Consola de DMS
Los pasos a continuación pueden variar según el modo y el diseño de su consola de DMS. Consulte Modo simple y Personalizar el diseño y estilo de la consola de DMS.
Inicie sesión en la consola de DMS.DMS console
En la barra de navegación superior, pase el puntero sobre Data + AI y elija DTS (DTS) > Data Synchronization.
En la lista desplegable junto a Data Synchronization Tasks, seleccione la región donde reside la instancia de sincronización.
Paso 2: Configurar las bases de datos de origen y destino
Haga clic en Create Task para abrir la página de configuración de la tarea.
Configure las bases de datos de origen y destino mediante los parámetros que se indican a continuación.
Base de datos de origen
|
Parámetro |
Descripción |
|
Task Name |
Nombre de la tarea de DTS. DTS genera un nombre automáticamente. Especifique un nombre descriptivo para facilitar la identificación de la tarea. El nombre no necesita ser único. |
|
Select Existing Connection |
Si tiene una instancia de base de datos registrada en DTS, selecciónela de la lista desplegable. DTS completará automáticamente los parámetros de conexión. Si no utiliza una instancia registrada, introduzca los detalles de conexión manualmente. En la consola de DMS, seleccione una opción de la lista desplegable Select a DMS database instance. |
|
Database Type |
Seleccione PolarDB-X 2.0. |
|
Access Method |
Seleccione Alibaba Cloud Instance. |
|
Instance Region |
Seleccione la región donde reside la instancia de origen PolarDB-X 2.0. |
|
Replicate Data Across Alibaba Cloud Accounts |
Seleccione No para utilizar una instancia en la cuenta actual de Alibaba Cloud. |
|
Instance ID |
Seleccione el ID de la instancia de origen PolarDB-X 2.0. |
|
Database Account |
Introduzca la cuenta de base de datos para la instancia de origen. Para conocer los requisitos de permisos, consulte Permissions required for database accounts. |
|
Database Password |
Introduzca la contraseña de la cuenta de base de datos. |
Base de datos de destino
|
Parámetro |
Descripción |
|
Select Existing Connection |
Si tiene una instancia de base de datos registrada en DTS, selecciónela de la lista desplegable. DTS completará automáticamente los parámetros de conexión. Si no utiliza una instancia registrada, introduzca los detalles de conexión manualmente. En la consola de DMS, seleccione una opción de la lista desplegable Select a DMS database instance. |
|
Database Type |
Seleccione PolarDB-X 1.0. |
|
Access Method |
Seleccione Alibaba Cloud Instance. |
|
Instance Region |
Seleccione la región donde reside la instancia de destino PolarDB-X 1.0. |
|
Instance ID |
Seleccione el ID de la instancia de destino PolarDB-X 1.0. |
|
Database Account |
Introduzca la cuenta de base de datos para la instancia de destino. Para conocer los requisitos de permisos, consulte Permissions required for database accounts. |
|
Database Password |
Introduzca la contraseña de la cuenta de base de datos. |
Haga clic en Test Connectivity and Proceed.
Asegúrese de que los bloques CIDR del servidor de DTS estén agregados a la configuración de seguridad de las bases de datos de origen y destino. Consulte Agregar direcciones IP de servidores DTS a una lista blanca .
Paso 3: Configurar objetos de sincronización
En la página Configure Objects, configure los siguientes ajustes.
|
Parámetro |
Descripción |
|
Synchronization Types |
Incremental Data Synchronization está seleccionado de forma predeterminada. Para sincronizar también los datos existentes, agregue Full Data Synchronization. Schema Synchronization no está disponible para este par origen-destino. Cuando la sincronización completa de datos está habilitada, DTS copia los datos históricos del origen al destino como línea base para la posterior sincronización incremental. |
|
Incremental CDC Type |
Seleccione un tipo de Change Data Capture (CDC) según el motor de registros de la instancia PolarDB-X 2.0. Multi-stream CDC requiere multi-stream enabled en la instancia de origen. |
|
Processing Mode of Conflicting Tables |
Precheck and Report Errors (predeterminado): DTS comprueba si la base de datos de destino contiene tablas con los mismos nombres que las del origen. Si existen nombres duplicados, la verificación previa falla y la tarea no puede iniciarse. Para manejar nombres duplicados sin bloquear la tarea, utilice la función de asignación de nombres de objetos para cambiar el nombre de las tablas de destino. Consulte Asignar nombres de objetos. Ignore Errors and Proceed: omite la comprobación de nombres duplicados. Durante la sincronización completa de datos, los registros existentes en el destino se conservan si comparten un valor de clave primaria o clave única con un registro de origen. Durante la sincronización incremental de datos, los registros de origen sobrescriben los registros coincidentes en el destino. Si el origen y el destino tienen esquemas diferentes, la inicialización podría fallar o solo se sincronizarán algunas columnas. |
|
Source Objects |
Seleccione uno o varios objetos y haga clic en el icono de flecha derecha para agregarlos a Selected Objects. Seleccione bases de datos o tablas como objetos a sincronizar. |
|
Selected Objects |
Para cambiar el nombre de un objeto de sincronización o asignarlo a un objeto de destino diferente, haga clic derecho sobre él y configure la asignación de nombres de objetos. Consulte Asignar nombres de objetos. Para quitar un objeto, haga clic en él y luego en el icono de eliminación. Para filtrar filas, haga clic derecho en una tabla y especifique condiciones WHERE. Consulte Especificar condiciones de filtro. Para seleccionar qué operaciones SQL se sincronizarán incrementalmente, haga clic derecho en un objeto y seleccione las operaciones. |
Cambiar el nombre de un objeto de sincronización puede provocar que otros objetos dependientes fallen en la sincronización.
Paso 4: Configurar ajustes avanzados
Haga clic en Next: Advanced Settings y configure los siguientes parámetros.
| Parámetro | Descripción |
|---|---|
| Dedicated Cluster for Task Scheduling | De forma predeterminada, DTS programa las tareas en un clúster compartido. Para mayor estabilidad, adquiera un clúster dedicado. Consulte ¿Qué es un clúster dedicado de DTS?. |
| Retry Time for Failed Connections | Tiempo durante el cual DTS reintenta una conexión fallida antes de que la tarea falle. Valores válidos: 10–1440 minutos. Valor predeterminado: 720. Se recomienda establecer este valor en más de 30. Si DTS se reconecta dentro de la ventana especificada, la tarea se reanudará. De lo contrario, la tarea fallará. Si varias tareas comparten la misma base de datos de origen o destino, la ventana de reintento más corta se aplica a todas ellas. |
| Retry Time for Other Issues | Tiempo durante el cual DTS reintenta operaciones DDL o DML fallidas antes de que la tarea falle. Valores válidos: 1–1440 minutos. Valor predeterminado: 10. Se recomienda establecer este valor en más de 10. Este valor debe ser menor que el valor de Retry Time for Failed Connections. |
| Enable Throttling for Full Data Synchronization | Limita el uso de recursos durante la sincronización completa de datos. Configure Queries per second (QPS) to the source database, RPS of Full Data Migration y Data migration speed for full migration (MB/s) para reducir la carga en la base de datos de destino. Disponible solo cuando Full Data Synchronization está seleccionado. |
| Enable Throttling for Incremental Data Synchronization | Limita el uso de recursos durante la sincronización incremental de datos. Configure RPS of Incremental Data Synchronization y Data synchronization speed for incremental synchronization (MB/s). |
| Whether to delete SQL operations on heartbeat tables of forward and reverse tasks | Controla si DTS escribe operaciones SQL de latido en la base de datos de origen. Yes: DTS no escribe operaciones de latido. La información de latencia podría mostrarse elevada. No: DTS escribe operaciones de latido. Esto podría afectar funciones como la copia de seguridad física y la clonación de bases de datos. |
| Environment Tag | (Opcional) Asigne una etiqueta para identificar el entorno de la instancia. |
| Monitoring and Alerting | No: alertas deshabilitadas. Yes: habilita las alertas. Especifique un umbral de alerta y la configuración de notificaciones. Consulte Configurar monitoreo y alertas al crear una tarea de DTS. |
Cuando DTS reintenta una conexión, se le cobra por la instancia de sincronización durante el período de reintento. Libere la instancia oportunamente si las instancias de origen y destino ya no son necesarias.
Paso 5: Configurar la verificación de datos
Haga clic en Next Step: Data Verification para configurar la verificación de datos. Consulte Configurar una tarea de verificación de datos.
Paso 6: Ejecutar la verificación previa y guardar la tarea
Haga clic en Next: Save Task Settings and Precheck.
Para obtener una vista previa de los parámetros de API y configurar esta tarea mediante programación, pase el puntero sobre Next: Save Task Settings and Precheck y haga clic en Preview OpenAPI parameters .
DTS ejecuta una verificación previa antes de que la tarea pueda iniciarse. Si algún elemento falla:
Haga clic en View Details junto al elemento fallido.
Corrija el problema basándose en los resultados de la verificación.
Haga clic en Precheck Again.
Si se activa una alerta:
Para una alerta que no se puede ignorar, haga clic en View Details, corrija el problema y vuelva a ejecutar la verificación previa.
Para una alerta que se puede ignorar, haga clic en Confirm Alert Details, haga clic en Ignore en el cuadro de diálogo, haga clic en OK y luego haga clic en Precheck Again.
Ignorar un elemento de alerta puede causar inconsistencia en los datos y exponer su negocio a riesgos potenciales.
Paso 7: Adquirir la instancia de sincronización
Espere hasta que Success Rate alcance 100%, luego haga clic en Next: Purchase Instance.
En la página de compra, configure los siguientes parámetros.
|
Parámetro |
Descripción |
|
Billing Method |
Subscription: pago anticipado por un período determinado. Más rentable para uso a largo plazo. Pay-as-you-go: facturación por hora. Adecuado para uso a corto plazo. Libere la instancia cuando ya no sea necesaria para detener los cargos. |
|
Resource Group Settings |
El resource group para la instancia de sincronización. Predeterminado: default resource group. Consulte ¿Qué es Resource Management? |
|
Instance Class |
Seleccione una clase de instancia según la velocidad de sincronización requerida. Consulte Clases de instancia de sincronización de datos. |
|
Subscription Duration |
Disponible cuando se selecciona Subscription. Opciones: 1–9 meses, 1 año, 2 años, 3 años o 5 años. |
Lea y seleccione Data Transmission Service (Pay-as-you-go) Service Terms.
Haga clic en Buy and Start, luego haga clic en OK en el cuadro de diálogo.
La tarea aparecerá en la lista de tareas. Monitoree su progreso desde allí.
Pasos siguientes
Una vez que la tarea de sincronización se inicie:
Monitorear el estado de la tarea: Revise regularmente la lista de tareas para detectar picos de latencia o errores.
Verificar la consistencia de los datos: Una vez completada la inicialización completa, compruebe que los datos de destino coincidan con los de origen. Consulte Configurar una tarea de verificación de datos.
Evitar escrituras en el destino desde otras fuentes: Las escrituras externas en la base de datos de destino durante la sincronización pueden causar inconsistencia de datos o fallos en la tarea.