Data Transmission Service:Configurar la verificación de datos

Notas de uso

• DTS no admite la verificación incremental de datos para instancias de base de datos en una red clásica.

• DTS no admite la verificación de datos para instancias con la función de fusión de múltiples tablas habilitada.

• DTS no admite la verificación de datos para instancias cuyo Status es Completed.

• DTS no verifica una tabla si tiene más de 10,000 filas y carece de clave principal o índice único.

• Si los datos no tienen restricción de clave principal ni restricción única, DTS no realiza la verificación incremental de datos.

• Si reinicia una instancia de sincronización o migración, por ejemplo, al pausarla e iniciarla nuevamente, la tarea de verificación completa dentro de la instancia se reinicia.

• DTS no verifica una tabla de destino vacía.

• Antes de ejecutar una tarea de verificación, evalúe el rendimiento de las bases de datos de origen y destino. Realice la verificación de datos en horarios de baja demanda, por ejemplo, cuando la carga de CPU de ambas bases de datos sea inferior al 30%. Durante la verificación, DTS consume recursos de lectura tanto del origen como del destino, lo cual puede incrementar la carga de la base de datos. Si la base de datos tiene bajo rendimiento, especificaciones reducidas o una carga de trabajo elevada, este incremento puede provocar la indisponibilidad de sus servicios.

• Cuando configura una tarea de verificación de datos en una instancia de sincronización o migración, sus selecciones en Synchronization Types o Migration Types determinan las opciones disponibles para Data Verification Mode.

  Por ejemplo, si selecciona únicamente Incremental Data Migration en Migration Types, la única opción disponible para Data Verification Mode será Incremental Data Verification.

• Una tarea de verificación incremental solo valida los datos modificados durante una tarea incremental. No verifica los datos cambiados manualmente en la base de datos de destino.

• DTS no admite la verificación incremental para tareas de verificación de datos configuradas desde la lista de tareas de verificación de datos.

• Al verificar un volumen pequeño de datos mediante el método Full field validation by row sampling, el porcentaje de muestreo especificado no surte efecto. El valor predeterminado es 100%.

• Si selecciona el método Full field validation by row sampling para la verificación de datos en una instancia de MongoDB, el porcentaje de muestreo se fija en 100% y no se puede modificar.

• Si selecciona Full field validation by row sampling para Full Data Verification, no utilice simultáneamente la función ETL. De lo contrario, los datos modificados por dicha función se marcarán como inconsistentes.

• DTS no admite la verificación de datos para vistas materializadas.

• Durante una tarea de verificación completa, si una sola tabla contiene más de 100,000 filas de datos inconsistentes, DTS detiene la verificación de esa tabla. Reduzca la cantidad de datos inconsistentes y vuelva a verificar la tabla.

• Si un objeto contiene columnas ocultas, esto puede afectar el resultado de la verificación de esquema.

• Las tareas de validación incremental generan cargos incluso cuando están en pausa.

Regiones compatibles

Para obtener más información sobre las regiones compatibles, consulte list of supported regions.

Enlaces compatibles

Configurar una tarea de verificación de datos

1. Vaya a la página de lista de tareas de verificación de datos. Elija uno de los siguientes métodos.

   DTS console (quick)

   1. Vaya a la página Data Verification.

   2. Opcional: En la esquina superior izquierda de la página, seleccione la región de la instancia de verificación.

   DTS console (standard)

   1. Inicie sesión en la consola de Data Transmission Service (DTS).

   2. En el panel de navegación izquierdo, haga clic en Data Verification.

   3. Opcional: En la esquina superior izquierda de la página, seleccione la región de la instancia de verificación.

   DMS console

   Nota

   Los pasos reales pueden variar según el modo y el diseño de la consola de DMS. Para obtener más información, consulte Simplified mode console y Customize the layout and style of the DMS interface.

   1. Inicie sesión en la consola de Data Management Service (DMS).

   2. En la barra de menú superior, elija Data + AI > Data Transmission (DTS) > Data Verification.

   3. Opcional: A la derecha de Verification Task, seleccione la región de la instancia de verificación.

2. Vaya a la página de configuración de la tarea de verificación de datos mediante uno de los siguientes métodos:

   • Si ya adquirió una tarea de verificación de datos (adquisición previa a la configuración), localice la tarea y haga clic en Configure Task en la columna Actions.

     Para saber cómo adquirir una tarea de verificación de datos, consulte Purchase a data verification task.

   • Si aún no ha adquirido una tarea de verificación de datos (configuración previa a la adquisición), haga clic en Create Task.

3. Configure las bases de datos de origen y destino. Para obtener más detalles, consulte Overview of data synchronization solutions o Overview of data migration solutions.

   Nota

   • No es posible modificar la Instance Region en tareas adquiridas previamente.

   • Si la base de datos de origen es un clúster fragmentado de MongoDB, no es necesario proporcionar una Shard account ni una Shard password.

4. Una vez completada la configuración, haga clic en Test Connectivity and Proceed en la parte inferior de la página.

   Nota

   • Asegúrese de que el segmento de dirección IP del servicio DTS se agregue automática o manualmente a la configuración de seguridad de las bases de datos de origen y destino para permitir el acceso desde los servidores de DTS. Para obtener más información, consulte Add DTS server IP addresses to a whitelist.

   • Si la base de datos de origen o destino es autoadministrada (el Access Method no es Alibaba Cloud Instance), también debe hacer clic en Test Connectivity en el cuadro de diálogo CIDR Blocks of DTS Servers que aparece.

5. Establezca el Data Verification Mode.

   Seleccione un método de verificación de datos. Si selecciona Full Data Verification, también debe configurar los parámetros descritos en la siguiente tabla.

   Nota

   • Full Data Verification: Verifica todos los datos de los objetos especificados.

   • Schema Verification: Verifica los esquemas de base de datos y tablas de los objetos especificados.

   • DTS no admite la verificación incremental para tareas de verificación de datos configuradas desde la lista de tareas de verificación.

   Parámetro	Descripción
   Full Data Verification	Full field validation by row sampling: Especifique un porcentaje de muestreo para verificar todos los campos de las filas muestreadas. El valor debe ser un número entero entre 10 y 100. Verify based on the number of table rows: Verifica el recuento de filas de la tarea de datos completos. No se verifica el contenido real de los datos. Nota El modo Verify based on the number of table rows es gratuito. El modo Full field validation by row sampling se cobra según la cantidad de datos que se verifiquen realmente.
   Full Data Verification Time Rule	Actualmente, solo se admite Start Now.
   Timeout Settings for Full Data Verification	No: La tarea de verificación de datos completos no se termina forzosamente al agotarse el tiempo de espera. Yes: Especifique un período de tiempo de espera para la tarea de verificación de datos completos. El temporizador comienza después de iniciar la tarea. Si la tarea no se completa dentro del período especificado, se termina forzosamente. El valor debe ser un número entero entre 1 y 72.
   Full calibration reference	Default: Utiliza la unión de las bases de datos de origen y destino como referencia para verificar la consistencia de los datos. Source Database: Utiliza la base de datos de origen como referencia para verificar la consistencia de los datos. Los datos adicionales en la base de datos de destino no se verifican. Destination Database: Utiliza la base de datos de destino como referencia para verificar la consistencia de los datos. Los datos adicionales en la base de datos de origen no se verifican.
   Maximum number of rows of data read per second by full verification (RPS)	La verificación de datos completos consume recursos de lectura de la base de datos. Para reducir la carga en la base de datos, puede establecer límites de velocidad para la tarea de verificación de datos completos, como el máximo de filas por segundo (RPS) y el throughput máximo de lectura en megabytes por segundo (MBps). Nota Un valor de 0 indica que no hay límite. Si tanto Maximum number of rows of data read per second by full verification (RPS) como Maximum amount of data read per second by full verification (MBps) se establecen en 0, no se aplica ningún límite de velocidad.
   Maximum amount of data read per second by full verification (MBps)

6. Establezca los Verification Objects.

   1. Seleccione los objetos que desea verificar en la base de datos de origen.

      En el cuadro Source Objects, seleccione los objetos a verificar y haga clic en para moverlos al cuadro Selected Objects.

      Nota

      Solo puede establecer el Table Name y el Column Name para las tablas de destino cuando establece la granularidad del objeto de verificación en tablas.

   2. Configure los objetos a verificar en la base de datos de destino.

      1. En el cuadro Selected Objects, haga clic con el botón derecho en el esquema que movió.

      2. En el cuadro de diálogo Edit Schema, establezca el Schema Name para la base de datos de destino y haga clic en OK.

      3. En el cuadro Selected Objects, haga clic con el botón derecho en la tabla que movió.

      4. En el cuadro de diálogo Edit Table, establezca el Table Name para la tabla de destino.

      5. Opcional: En la sección Column, establezca el nombre de la columna de destino en la columna Column Name.

         Nota

         También puede desmarcar la casilla Sync All Columns y seleccionar las columnas específicas que desea verificar.

      6. Una vez completada la configuración, haga clic en OK.

   3. Opcional: Configure alertas de verificación.

      Si selecciona Full Data Verification para el parámetro Data Verification Mode, también puede configurar la Full Data Verification Alert.

      Nota

      También puede set or modify data verification alerts después de que la instancia de DTS esté en ejecución.

      Parámetro	Descripción
      Full Data Verification Alert	No: No se configura ninguna alerta. Yes: Seleccione y configure una de las siguientes reglas de alerta: Activa una alerta si la tarea de verificación de datos completos falla. Activa una alerta si el número de registros inconsistentes de la tarea de verificación de datos completos es mayor o igual a un umbral especificado.

      Importante

      Para recibir notificaciones de las alertas configuradas, también debe suscribirse a ellas en CloudMonitor. Para obtener más información, consulte Configure alert rules for a DTS task in CloudMonitor.

7. Haga clic en Next: Advanced Settings.

   Configuración	Descripción
   Dedicated Cluster for Task Scheduling	De forma predeterminada, DTS programa la tarea en un clúster compartido y no se requiere ninguna selección. Puede adquirir un clúster dedicado para ejecutar tareas de DTS. Para obtener más información, consulte What is a DTS dedicated cluster?.
   Retry Time for Failed Connections	Después de iniciar una tarea de sincronización, si falla la conexión a la base de datos de origen o destino, DTS reporta un error y comienza inmediatamente a reintentar la conexión. La duración predeterminada de reintento es de 720 minutos. También puede especificar una duración personalizada de entre 10 y 1,440 minutos. Se recomienda establecer la duración en 30 minutos o más. Si DTS logra reconectarse a la base de datos dentro de la duración especificada, la tarea de sincronización se reanuda automáticamente. De lo contrario, la tarea falla. Nota Si tiene varias instancias de DTS (por ejemplo, Instancia A e Instancia B) que comparten el mismo origen o destino, y establece el tiempo de reintento de red en 30 minutos para la Instancia A y en 60 minutos para la Instancia B, se utiliza la duración más corta de 30 minutos para ambas. Dado que DTS cobra por el tiempo de ejecución de la tarea durante el período de reintento de conexión, se recomienda personalizar la duración del reintento según sus necesidades comerciales o liberar la instancia de DTS lo antes posible después de liberar las instancias de base de datos de origen y destino.
   Retry Time for Other Issues	Después de iniciar la tarea de sincronización, si ocurren otros problemas no relacionados con la conectividad en la base de datos de origen o destino (como excepciones en la ejecución de DDL o DML), DTS reporta un error e inicia inmediatamente operaciones de reintento continuas. La duración predeterminada de reintento es de 10 minutos. También puede personalizar la duración del reintento en un rango de 1 a 1,440 minutos. Se recomienda establecerla en 10 minutos o más. Si las operaciones correspondientes se completan correctamente dentro de la duración de reintento establecida, la tarea de sincronización se reanuda automáticamente. De lo contrario, la tarea falla. Importante El valor de Retry Time for Other Issues debe ser menor que el de Retry Time for Failed Connections.
   Environment Tag	Este parámetro es opcional. Puede seleccionar una etiqueta de entorno para identificar la instancia según sus requisitos comerciales.

8. Guarde la tarea y ejecute una comprobación previa.

   • Para consultar los parámetros de configuración de esta instancia al llamar a la operación de API, pase el puntero sobre el botón Next: Save Task Settings and Precheck y haga clic en Preview OpenAPI parameters en la burbuja que aparece.

   • Si no necesita consultar los parámetros de API o ya terminó de revisarlos, haga clic en Next: Save Task Settings and Precheck en la parte inferior de la página.

   Nota

   • DTS ejecuta una comprobación previa antes de iniciar la tarea de verificación de datos. La tarea solo comienza después de aprobar esta comprobación.

   • Si la comprobación previa falla, haga clic en View Details junto al elemento fallido, solucione el problema según las indicaciones y vuelva a ejecutar la comprobación previa.

   • Si se reporta una advertencia durante la comprobación previa:

     • Para los elementos de comprobación que no se pueden ignorar, haga clic en View Details junto al elemento fallido, solucione el problema según las indicaciones y vuelva a ejecutar la comprobación previa.

     • Para los elementos de comprobación que se pueden ignorar, puede hacer clic en Confirm Alert Details, Ignore, OK y Precheck Again para omitir el elemento de advertencia y volver a ejecutar la comprobación previa. Si decide ignorar una advertencia, esto podría causar problemas como inconsistencia de datos y representar riesgos para su negocio.

9. Consulte el progreso de la tarea de verificación de datos.

   • Para una tarea adquirida previamente: Cuando la Success Rate sea del 100%, haga clic en Back.

   • Para una tarea configurada antes de la adquisición: Cuando la Success Rate sea del 100%, haga clic en Next: Purchase Instance, lea y seleccione Data Transmission Service (Pay-as-you-go) Service Terms, haga clic en Buy and Start y luego haga clic en OK.

Configurar la verificación de datos

1. Vaya a la página Data Verification.

   • Para una nueva instancia de DTS: Para ir a esta página, consulte los temas de configuración relevantes en Overview of data synchronization solutions o Overview of data migration solutions.

   • Para una instancia de DTS existente:

     1. Vaya a la lista de tareas de sincronización o migración.

     2. Haga clic en el ID de la instancia objetivo.

     3. En la página Basic Information o Task Management, haga clic en Create Verification Task.

2. Configure el Data Verification Mode.

   Nota

   • Full Data Verification: Verifica los datos en la tarea de datos completos. Si la instancia no incluye una tarea incremental, la verificación comienza después de crear la instancia y escribir los datos completos. Si la instancia incluye una tarea incremental, la verificación comienza después de crear la instancia y cuando la latencia de replicación cae a cero por primera vez.

   • Incremental Data Verification: Verifica los datos en la tarea incremental. La verificación comienza después de crear la instancia y cuando la latencia de replicación cae a cero por primera vez.

   • Schema Verification: Verifica los esquemas de los objetos seleccionados. Si la instancia no incluye una tarea incremental, la verificación comienza después de crear la instancia y escribir el esquema de tabla y los datos completos. Si la instancia incluye una tarea incremental, la verificación comienza después de crear la instancia y cuando la latencia de replicación cae a cero por primera vez.

   Verificación de datos completos

   Si selecciona Full Data Verification, también debe configurar los parámetros descritos en la siguiente tabla.

   Parámetro	Descripción
   Full Data Verification	Full field validation by row sampling: Especifique un porcentaje de muestreo para verificar todos los campos de las filas muestreadas. El valor debe ser un número entero entre 10 y 100. Verify based on the number of table rows: Verifica el recuento de filas de la tarea de datos completos. No se verifica el contenido real de los datos. Nota El modo Verify based on the number of table rows es gratuito. El modo Full field validation by row sampling se cobra según la cantidad de datos que se verifiquen realmente.
   Full Data Verification Time Rule	Actualmente, solo se admite Start Now.
   Timeout Settings for Full Data Verification	No: La tarea de verificación de datos completos no se termina forzosamente al agotarse el tiempo de espera. Yes: Especifique un período de tiempo de espera para la tarea de verificación de datos completos. El temporizador comienza después de iniciar la tarea. Si la tarea no se completa dentro del período especificado, se termina forzosamente. El valor debe ser un número entero entre 1 y 72.
   Full calibration reference	Default: Utiliza la unión de las bases de datos de origen y destino como referencia para verificar la consistencia de los datos. Source Database: Utiliza la base de datos de origen como referencia para verificar la consistencia de los datos. Los datos adicionales en la base de datos de destino no se verifican. Destination Database: Utiliza la base de datos de destino como referencia para verificar la consistencia de los datos. Los datos adicionales en la base de datos de origen no se verifican.
   Maximum number of rows of data read per second by full verification (RPS)	La verificación de datos completos consume recursos de lectura de la base de datos. Para reducir la carga en la base de datos, puede establecer límites de velocidad para la tarea de verificación de datos completos, como el máximo de filas por segundo (RPS) y el throughput máximo de lectura en megabytes por segundo (MBps). Nota Un valor de 0 indica que no hay límite. Si tanto Maximum number of rows of data read per second by full verification (RPS) como Maximum amount of data read per second by full verification (MBps) se establecen en 0, no se aplica ningún límite de velocidad.
   Maximum amount of data read per second by full verification (MBps)

   Verificación de datos incrementales

   Si selecciona Incremental Data Verification, también debe configurar los parámetros descritos en la siguiente tabla.

   Parámetro	Descripción
   Incremental Verification Benchmark	Puede seleccionar las operaciones DML a verificar.

3. Especifique los Verification Objects.

   En el cuadro Selected Objects, seleccione los objetos que desea excluir de la verificación y luego haga clic en el icono para eliminarlos.

   Nota

   De forma predeterminada, DTS agrega los objetos seleccionados para sincronización o migración al cuadro Selected Objects.

4. Configure las alertas de verificación.

   Configure los siguientes parámetros según sea necesario.

   Nota

   También puede set or modify data verification alerts después de que la instancia de DTS esté en ejecución.

   Parámetro	Descripción
   Full Data Verification Alert	No: No se configura ninguna alerta. Yes: Seleccione y configure una de las siguientes reglas de alerta: Activa una alerta si la tarea de verificación de datos completos falla. Activa una alerta si el número de registros inconsistentes de la tarea de verificación de datos completos es mayor o igual a un umbral especificado.
   Incremental Data Verification Alert	No: No se configura ninguna alerta. Yes: Seleccione y configure una de las siguientes reglas de alerta: Activa una alerta si la tarea de verificación de datos incrementales falla. Activa una alerta si el número de registros inconsistentes alcanza o supera un umbral especificado a lo largo de un número definido de períodos estadísticos consecutivos. Activa una alerta si la latencia de datos alcanza o supera un umbral especificado a lo largo de un número definido de períodos estadísticos consecutivos.

   Importante

   Para recibir notificaciones de las alertas configuradas, también debe suscribirse a ellas en CloudMonitor. Para obtener más información, consulte Configure alert rules for a DTS task in CloudMonitor.

5. Siga las indicaciones en pantalla y consulte los temas relevantes para completar la configuración.

Modificar una alerta de verificación

1. Acceda a la página de lista de tareas de verificación de datos mediante uno de los tres métodos siguientes.

   Nota

   Si configuró la tarea de verificación de datos en una instancia de sincronización o migración de Data Transmission Service (DTS), también puede ir a la página de lista de tareas de sincronización o migración correspondiente.

   DTS console (quick)

   1. Vaya a la página Data Verification.

   2. Opcional: En la esquina superior izquierda de la página, seleccione la región de la instancia de verificación.

   DTS console (standard)

   1. Inicie sesión en la consola de Data Transmission Service (DTS).

   2. En el panel de navegación izquierdo, haga clic en Data Verification.

   3. Opcional: En la esquina superior izquierda de la página, seleccione la región de la instancia de verificación.

   DMS console

   Nota

   Los pasos reales pueden variar según el modo y el diseño de la consola DMS. Para obtener más información, consulte Simplified mode console y Customize the layout and style of the DMS interface.

   1. Inicie sesión en la consola de Data Management Service (DMS).

   2. En la barra de menú superior, elija Data + AI > Data Transmission (DTS) > Data Verification.

   3. Opcional: A la derecha de Verification Task, seleccione la región de la instancia de verificación.

2. En la columna Actions de la instancia destino, elija > Alert Settings.

   Nota

   Alternativamente, haga clic en el ID de la instancia destino y luego haga clic en Alert Settings en el panel de navegación izquierdo.

3. En la columna Actions de la métrica destino, haga clic en Edit.

   • Verificación completa de datos

     • Full Data Verification Status

     • Full Data Verification Inconsistency

   • Verificación incremental de datos

     • Incremental Data Verification Status

     • Incremental Data Verification Latency

     • Incremental Data Verification Inconsistency

4. Después de modificar la configuración, haga clic en OK.

API relacionadas

Preguntas frecuentes

• ¿Los nombres de bases de datos, tablas y columnas modificados por la función de asignación de nombres se marcan como datos inconsistentes?

  La verificación de datos admite la función de asignación de nombres para bases de datos y tablas. Si utiliza esta función para modificar nombres de bases de datos, tablas y columnas, DTS marca como inconsistentes únicamente los nombres de columna modificados, no los nombres de base de datos ni de tabla.

• ¿Cómo maneja la verificación de esquema las tablas con columnas ocultas?

  La verificación de esquema comprueba la posición de las columnas. Si una tabla que se verifica contiene una columna oculta, esto puede afectar las posiciones de otras columnas. Si la posición de una columna en la base de datos de origen difiere de su posición en la base de datos de destino, DTS marca una inconsistencia de esquema.

• ¿Por qué no puedo seleccionar un modo de verificación en una instancia de DTS?

  Es posible que la instancia no admita el modo de verificación de datos seleccionado, o que no haya seleccionado los elementos Configure Objects o Migration Types correspondientes en el paso Synchronization Types.

• ¿Los datos filtrados por la función Filter Conditions se marcan como inconsistentes?

  • Verificación completa de datos: No. La verificación completa de datos admite la función Filter Conditions.

  • Verificación incremental de datos: No. La verificación incremental de datos admite la función Filter Conditions. Sin embargo, las tareas incrementales no admiten la función Filter Conditions si el Database Type de origen es MongoDB.