Data Transmission Service:Crear una tarea de seguimiento de cambios para una instancia PolarDB-X 2.0

Requisitos previos

Antes de empezar, asegúrese de que:

• Se ha creado una instancia PolarDB-X 2.0 y existe una base de datos en la instancia. Consulte Create a PolarDB-X instance y Create a database.

• Si la instancia ApsaraDB RDS for MySQL es de tipo de red clásica, se ha configurado un endpoint interno para dicha instancia.

• El registro binario está habilitado y binlog_row_image está establecido en full. Consulte Parameter settings.

• Los registros binarios se conservan durante más de 24 horas. Si el período de retención es menor, DTS podría no leer los registros y la tarea fallará.

• La cuenta de base de datos utilizada para esta tarea tiene permisos de lectura sobre todos los objetos que se van a rastrear.

Límites

Base de datos de origen

• Las tablas de origen deben tener una clave primaria o una restricción UNIQUE con todos los campos únicos. Las tablas sin estas restricciones pueden generar registros de cambio duplicados.

• El seguimiento a nivel de tabla admite hasta 500 tablas por tarea. Para más de 500 tablas, utilice varias tareas o cambie al seguimiento a nivel de base de datos.

• Si la instancia de origen es de solo lectura o temporal, asegúrese de que registre los registros de transacciones.

Durante la tarea

• Un cambio de rol primario/secundario en la instancia de origen provoca que la tarea falle.

• No escale la instancia de origen, migre tablas de acceso frecuente, cambie shards ni ejecute operaciones DDL mientras la tarea se esté ejecutando.

• Si otra tarea en ejecución (por ejemplo, una tarea de migración de datos) también utiliza la instancia de origen, DTS podría capturar cambios de objetos adicionales. Filtre los datos manualmente en el cliente de seguimiento de cambios.

• DTS utiliza ROUND(COLUMN, PRECISION) para leer columnas FLOAT y DOUBLE. La precisión predeterminada es de 38 dígitos para FLOAT y 308 dígitos para DOUBLE. Compruebe que estos valores predeterminados cumplen sus requisitos.

• DTS no captura operaciones DDL ejecutadas mediante pt-online-schema-change. Si se realizan cambios de esquema con esta herramienta, el cliente de seguimiento de cambios podría fallar al escribir datos debido a conflictos de esquema.

Permisos obligatorios

Crear una tarea de seguimiento de cambios

1. Vaya a la página Change Tracking Tasks.

   1. Inicie sesión en la consola de Data Management (DMS).

   2. En la barra de navegación superior, haga clic en DTS.

   3. En el panel de navegación izquierdo, seleccione DTS (DTS) > Change Tracking.

   Alternativamente, en Simple Mode, pase el puntero sobre el icono de la esquina superior izquierda y seleccione All functions > DTS > Change Tracking . También puede utilizar la nueva consola de DTS .

2. Seleccione la región donde desea crear la tarea de seguimiento de cambios en la lista desplegable a la derecha de Change Tracking Tasks.

   En la nueva consola de DTS, seleccione la región en la lista desplegable a la derecha de Workbench .

3. Haga clic en Create Task. Configure la base de datos de origen y el tipo de red del consumidor.

   Aviso

   Lea los Limits que se muestran en la parte superior de la página antes de continuar. Omitir este paso puede provocar que la tarea falle o impedir que los consumidores posteriores lean los datos rastreados.

   Sección	Parámetro	Descripción
   Ninguna	Task Name	Nombre de la tarea. DTS asigna un nombre predeterminado. Especifique un nombre descriptivo para identificar fácilmente la tarea. El nombre no necesita ser único.
   Source Database	Select an existing database connection	Seleccione una conexión existente o configure una nueva. Si utiliza una conexión existente, DTS aplica automáticamente su configuración guardada.
   	Database Type	Seleccione PolarDB-X 2.0.
   	Access Method	Fijo en Alibaba Cloud Instance.
   	Instance Region	Región donde se encuentra la instancia PolarDB-X de origen.
   	Instance ID	ID de la instancia PolarDB-X de origen.
   	Database Account	Cuenta de la instancia PolarDB-X. La cuenta debe tener permisos de lectura sobre todos los objetos que se van a rastrear.
   	Database Password	Contraseña de la cuenta de la base de datos.
   Consumer Network Type	Network Type	Fijo en VPC. Seleccione la VPC y el vSwitch que desea utilizar. Si el cliente de seguimiento de cambios se ejecuta en una VPC, seleccione la misma VPC y vSwitch que el cliente para minimizar la latencia. Esta configuración no se puede modificar después de crear la tarea.

4. Haga clic en Test Connectivity and Proceed. DTS agrega automáticamente sus bloques CIDR a la lista de permitidos de las instancias de base de datos de Alibaba Cloud y a las reglas del security group de las bases de datos alojadas en ECS. Para bases de datos autogestionadas en centros de datos o plataformas de nube de terceros, agregue manualmente los bloques CIDR del servidor DTS a la configuración de seguridad de su base de datos. Para obtener la lista completa de bloques CIDR, consulte Agregar los bloques CIDR de los servidores DTS.

   Aviso

   Agregar bloques CIDR públicos a una lista de permitidos de base de datos o a un security group expone la base de datos a posibles riesgos de seguridad. Tome medidas preventivas como fortalecer las credenciales de la cuenta, limitar los puertos expuestos, auditar el acceso a la API, revisar periódicamente las reglas de la lista de permitidos y utilizar Express Connect, VPN Gateway o Smart Access Gateway para conectividad privada.

5. Configure los objetos y la configuración avanzada.

   Configuración básica

   Parámetro	Descripción
   Data Change Types	Seleccione los tipos de cambios que desea rastrear: Data Update: rastrea operaciones DML (INSERT, DELETE y UPDATE). Schema Update: rastrea las operaciones de creación, eliminación y modificación realizadas en todos los esquemas de objetos de la instancia de origen. Debe utilizar el cliente de seguimiento de cambios para filtrar los datos que se van a rastrear.
   Source Objects	Seleccione objetos en la sección Source Objects y haga clic en el icono de flecha para moverlos a la sección Selected Objects.

   Configuración avanzada

   Parámetro	Descripción
   Monitoring and Alerting	Configure alertas para fallos de tarea o latencia que supere un umbral. Seleccione Yes para especificar un umbral de alerta y contactos de alerta, o No para omitir las alertas.
   Retry Time for Failed Connections	Tiempo durante el cual DTS reintenta una conexión fallida antes de marcar la tarea como con errores. Valores válidos: 10–1440 minutos. Valor predeterminado: 120 minutos. Establezca este valor en 30 minutos como mínimo. Si DTS se reconecta dentro de esta ventana, la tarea se reanuda automáticamente. Nota: Si una instancia sirve como base de datos de origen o destino de varias tareas de seguimiento de cambios, prevalece el intervalo de tiempo de reintento más corto configurado para la instancia. Cuando DTS reintenta una conexión, se le cobra por la instancia DTS. Se recomienda especificar el intervalo de tiempo de reintento según sus necesidades empresariales. También puede liberar la instancia DTS lo antes posible después de liberar las instancias de origen y destino.
   Configure ETL	Habilite el procesamiento de extracción, transformación y carga (ETL). Seleccione Yes para escribir una directiva ETL en el editor de código. Consulte ¿Qué es ETL?

6. Haga clic en Next: Save Task Settings and Precheck. Para previsualizar los parámetros de la API correspondientes a esta configuración, pase el puntero sobre Next: Save Task Settings and Precheck y haga clic en Preview OpenAPI parameters.

   DTS ejecuta una comprobación previa antes de que la tarea pueda iniciarse. La tarea solo comienza después de superar dicha comprobación. Si algún elemento falla, haga clic en View Details junto a él, solucione el problema y haga clic en Precheck Again . Si un elemento de alerta no es crítico, haga clic en Confirm Alert Details , luego en Ignore , después en OK y vuelva a ejecutar la comprobación previa. Ignorar una alerta puede causar inconsistencia en los datos.

7. Espere a que Success Rate alcance el 100% y haga clic en Next: Purchase Instance.

8. En la página Purchase, seleccione un método de facturación.

   Parámetro	Descripción
   Billing method	Subscription: Pague por adelantado por un plazo fijo. Más rentable para uso a largo plazo. Duraciones disponibles: 1–9 meses, o 1, 2, 3 o 5 años. Pay-as-you-go: Facturación por hora. Úselo para implementaciones a corto plazo o de prueba. Libere la instancia cuando ya no la necesite para detener los cargos.
   Resource Group Settings	El resource group para la instancia. Valor predeterminado: default resource group. Consulte ¿Qué es Resource Management?
   Subscription Duration	Disponible solo para el método de facturación Subscription. Establezca la duración y el número de instancias que desea adquirir.

9. Lea y seleccione Data Transmission Service (Pay-as-you-go) Service Terms.

10. Haga clic en Buy and Start. La tarea aparece en la lista de tareas y comienza a rastrear cambios.

Pasos siguientes

Una vez que la tarea esté en ejecución, cree grupos de consumidores y conecte sus clientes posteriores para consumir los datos rastreados.

1. Create consumer groups

2. Conecte un cliente para consumir los datos rastreados:

   • Use the SDK demo to consume tracked data

   • Use flink-dts-connector to consume tracked data

   • Use a Kafka client to consume tracked data