DataWorks:Capacidades de sincronización por lotes

Función

Descripción

Sincronización de datos completa o incremental

Las tareas de sincronización por lotes admiten la sincronización de datos completa o incremental mediante la configuración de Data Filtering combinada con parámetros de programación. Los distintos plugins tienen configuraciones diferentes para la sincronización incremental. Para obtener más información sobre la sincronización incremental de datos, consulte Configure incremental data synchronization.

Asignación de campos

Al definir reglas de asignación de campos, los datos de origen se escriben en los campos de destino correspondientes según las relaciones especificadas. Asegúrese de que los tipos de campo en ambos lados sean compatibles.

• Existen varios métodos de asignación de campos:

  • El modo asistente admite asignación por mismo nombre, asignación por misma fila y relaciones de campos personalizadas. Los datos de los campos no asignados se ignoran automáticamente. Asegúrese de que los campos de destino correspondientes tengan valores predeterminados configurados o permitan valores nulos para evitar errores de escritura.

  • El modo script asigna campos estrictamente según el orden de configuración de columnas. La cantidad de campos en el lado del lector debe coincidir exactamente con la del lado del escritor; de lo contrario, la tarea fallará durante la ejecución.

• Las tareas de sincronización también admiten la asignación dinámica de valores para campos de destino, incluidas constantes, parámetros de programación y variables integradas como ${bizdate}. Los parámetros relevantes reciben sus valores finales durante la fase de programación.

Límite de velocidad de trabajo

• La función de control de concurrencia de tareas limita el número máximo de subprocesos simultáneos para lectura y escritura en bases de datos.

• La función de velocidad de sincronización controla el tráfico para evitar una presión excesiva en el origen o el destino causada por velocidades de sincronización altas. Si no se habilita la limitación, se obtiene el rendimiento máximo de transferencia disponible en el entorno de hardware actual.

Ejecución distribuida de tareas

Los orígenes de datos que admiten ejecución distribuida pueden usar la fragmentación de tareas para distribuir las tareas de sincronización en varios nodos y ejecutarlas simultáneamente. Esto permite que la velocidad de sincronización escale linealmente con el tamaño del clúster y supera los cuellos de botella de rendimiento de un solo nodo. Este modo es especialmente adecuado para escenarios de sincronización de alto throughput y baja latencia, y aprovecha eficientemente los recursos inactivos del clúster para mejorar significativamente la utilización del hardware.

Directiva de datos sucios

Se entiende por datos sucios aquellos registros de datos que no se pueden escribir en el destino debido a excepciones como conflictos de tipo o violaciones de restricciones. La sincronización por lotes admite directivas de datos sucios que definen la cantidad aceptable de registros de datos sucios y su impacto en las tareas.

• Ignorar datos sucios: Los datos sucios se filtran automáticamente. Solo se escriben los datos válidos y la tarea continúa ejecutándose.

• Tolerar datos sucios limitados: Establezca un umbral N. Si la cantidad de registros de datos sucios es ≤ N, los datos anómalos se descartan y la tarea continúa. Si la cantidad supera N, la tarea falla y finaliza.

• Sin tolerancia a datos sucios: La tarea falla y finaliza inmediatamente al encontrar datos sucios.

Zona horaria

Si se requiere sincronización entre zonas horarias distintas para el origen y el destino, configure la zona horaria de origen para realizar la conversión de zona horaria.

Procesamiento inteligente de datos

DataWorks admite la integración de capacidades de procesamiento de datos durante la sincronización para transformar y procesar los datos de origen antes de escribirlos en el destino:

Reemplazo de cadenas: La función integrada de reemplazo de cadenas en las tareas de sincronización por lotes permite realizar transformaciones ligeras de datos directamente durante la transferencia, sin necesidad de almacenar los datos temporalmente ni de pasos ETL adicionales.

Procesamiento asistido por IA: Admite la integración de modelos de lenguaje grande de IA durante la sincronización de datos para realizar análisis semántico, análisis de sentimientos y otros procesamientos sobre datos de lenguaje natural del origen, y escribe los resultados procesados directamente en la tabla de destino.

Vectorización de datos: Admite la extracción y vectorización (embedding) de datos de origen antes de escribirlos en una base de datos vectorial.