Data Integration es una plataforma de sincronización de datos estable, eficiente y con escalado elástico. Mueve y sincroniza datos de forma confiable y a alta velocidad entre orígenes de datos heterogéneos, incluso en entornos de red complejos.
Proceso
Acceda a Data Integration desde una computadora de escritorio con Google Chrome versión 69 o posterior.
El flujo de trabajo de desarrollo general para Data Integration es el siguiente:
Configure un origen de datos, prepare un resource group y establezca la conectividad de red entre el origen de datos y el resource group.
Seleccione un tipo de sincronización por lotes o en tiempo real según su caso de uso. Siga la guía de la interfaz para completar la configuración del resource y de la tarea.
Use la vista previa de datos y las ejecuciones de prueba para depurar la tarea. Una vez depurada correctamente, envíe y despliegue la tarea.
Esto inicia la fase de operaciones continuas. En ella se monitorea el estado de la sincronización, se configuran alertas y se optimizan los recursos, lo que conforma un ciclo de gestión completo.
Para usar conversaciones impulsadas por inteligencia artificial en lugar de la configuración tradicional basada en formularios, DataWorks también ofrece las capacidades nativas de IA de Data Integration (DI Agent). Estas permiten crear tareas mediante lenguaje natural, ejecutar diagnósticos inteligentes y programar inspecciones periódicas durante todo el flujo de trabajo. Para más información, consulte Data Integration Agent.
Métodos de sincronización
DataWorks Data Integration ofrece métodos de sincronización que combinan tres dimensiones: latencia, alcance y política de datos. Para obtener explicaciones detalladas y recomendaciones, consulte Supported data sources and synchronization solutions.
Latencia: por lotes o en tiempo real. La sincronización por lotes usa programación periódica para migrar datos cada hora o cada día. La sincronización en tiempo real captura los cambios en los datos de origen mediante change data capture (CDC) y alcanza una latencia de segundos.
Alcance: tabla única, base de datos completa o fragmentación. Admite la transferencia detallada de una sola tabla, así como la migración por lotes y la fusión de una base de datos completa o de bases de datos fragmentadas.
Política de datos: completa, incremental o completa e incremental. La migración completa traslada todos los datos históricos. La sincronización incremental procesa solo los datos nuevos o modificados. El modo completo e incremental combina ambos enfoques. Ofrece implementaciones por lotes, en tiempo real y casi en tiempo real, según las características del origen de datos y los requisitos de latencia.
Método | Descripción |
Por lotes | Usa un mecanismo de programación por lotes periódico, con tareas horarias o diarias, para realizar la migración completa o incremental de los datos de origen al destino. |
Tiempo real | Usa un motor de procesamiento de streaming para capturar los cambios de los datos de origen en tiempo real (registros CDC) y lograr una sincronización de datos con latencia de segundos. |
Tabla única | Transfiere los datos de una sola tabla. Admite mapeo de campos detallado, reglas de transformación y configuraciones de control. |
Base de datos completa | Migra los esquemas de tabla y los datos de varias tablas dentro de una instancia de base de datos de origen hacia el destino en una sola operación. Admite la creación automática de tablas. Una sola tarea puede sincronizar varias tablas, lo que reduce la cantidad de tareas y el consumo de recursos. |
Fragmentación | Escribe en una sola tabla de destino los datos de varias tablas de origen que comparten el mismo esquema. Identifica automáticamente las reglas de enrutamiento de fragmentación y fusiona los datos. |
Completa | Migra todos los datos históricos de la tabla de origen de una sola vez. Se usa normalmente para inicializar almacenes de datos o archivar información. |
Incremental | Sincroniza solo los datos nuevos o modificados del origen (como |
Completa e incremental | Realiza una sincronización completa única de los datos históricos y luego pasa automáticamente a la escritura incremental de datos. Data Integration admite este tipo de sincronización para diversos escenarios. Seleccione la opción adecuada según las características del origen de datos y los requisitos de latencia de su origen y destino.
|
Conceptos básicos
Concepto | Descripción |
Sincronización de datos | La sincronización de datos consiste en leer información de un origen, extraerla y filtrarla, para luego escribirla en un destino. Data Integration se enfoca en transferir datos que se pueden abstraer como estructuras lógicas de tablas bidimensionales. No ofrece capacidades de consumo de flujos de datos ni de transformación ETL. Data Integration solo admite la garantía de entrega at-least-once. No es compatible con la entrega exactly-once. Esto significa que pueden generarse datos duplicados después de la sincronización. La deduplicación depende exclusivamente de las claves primarias y de las capacidades del destino. |
Mapeo de campos | El mapeo de campos define la correspondencia de lectura y escritura entre los datos de origen y de destino en una tarea de sincronización. Al configurar el mapeo de campos, compruebe cuidadosamente la compatibilidad de tipos entre los campos de origen y de destino. Así evitará errores de conversión que generen datos erróneos o provoquen fallos en la tarea. Los riesgos más comunes incluyen:
|
Concurrencia | La concurrencia es el número máximo de subprocesos que pueden leer o escribir en paralelo en el almacén de datos durante una tarea de sincronización. |
Limitación de velocidad | La limitación de velocidad es el límite de transferencia que puede alcanzar una tarea de sincronización de Data Integration. |
Datos erróneos | Los datos erróneos son aquellos que resultan inválidos, tienen un formato incorrecto o presentan excepciones de sincronización. Cuando un registro individual no se escribe en el destino, se clasifica como dato erróneo (por ejemplo, un tipo Si una tarea falla por datos erróneos, los datos escritos correctamente no se revierten. Data Integration utiliza un mecanismo de escritura por lotes. La posibilidad de revertir un lote fallido depende de si el destino admite transacciones. Data Integration no proporciona compatibilidad con transacciones por sí mismo. |
Origen de datos | Un origen de datos es una unidad de configuración estandarizada en DataWorks para conectarse a sistemas externos. Proporciona definiciones unificadas de endpoint de lectura y escritura para las tareas de Data Integration, mediante plantillas de conexión predefinidas para diversos orígenes de datos heterogéneos como MaxCompute, MySQL y OSS. |
Consistencia de datos | Data Integration solo admite la garantía de entrega at-least-once. No es compatible con la entrega exactly-once. Esto significa que pueden generarse datos duplicados después de la sincronización. La deduplicación depende exclusivamente de las claves primarias y de las capacidades del destino. |
Características y valor principal
Las capacidades de DataWorks Data Integration destacan por su amplia conectividad, sus métodos de sincronización flexibles, su alto rendimiento, su facilidad de desarrollo y mantenimiento, y su gestión integral de seguridad.
Amplia conectividad con el ecosistema de datos
Elimine los silos de datos y habilite la agregación y migración de información.
Compatibilidad con múltiples orígenes de datos: abarca a wide range of data source types, incluidas bases de datos relacionales, sistemas de almacenamiento de big data, bases de datos NoSQL, colas de mensajes, servicios de almacenamiento de archivos y aplicaciones SaaS.
Compatibilidad con redes complejas: al configurar Network connectivity configuration, puede usar Internet, VPC, Express Connect o Cloud Enterprise Network (CEN) para habilitar la transferencia de datos en arquitecturas de nube híbrida y multinube.
Métodos de sincronización flexibles y versátiles
Cubra requisitos de sincronización por lotes o en tiempo real, de tabla única o de base de datos completa, y de tipo completo o incremental.
Sincronización por lotes: admite varios escenarios por lotes, incluidos tabla única, base de datos completa y fragmentación. Ofrece filtrado de datos, eliminación de columnas y lógica de transformación para cargas ETL periódicas T+1 a gran escala.
Sincronización en tiempo real: captura cambios de datos casi en tiempo real desde orígenes como MySQL, Oracle y Hologres, y los escribe en almacenes de datos en tiempo real o colas de mensajes para respaldar decisiones empresariales inmediatas.
Integración completa e incremental: ofrece soluciones de sincronización por lotes de base de datos completa, en tiempo real de base de datos completa y de base de datos completa con modo completo e incremental. La primera ejecución realiza la inicialización completa de los datos y las siguientes cambian automáticamente a la sincronización incremental. Esto simplifica la carga inicial y los procesos de actualización posteriores, ya que proporciona capacidades de migración completa, captura incremental y transición automática de modo completo a incremental.
Escalado elástico y rendimiento
Programación adaptativa de recursos que garantiza una transferencia de datos altamente confiable para las operaciones empresariales críticas.
Recursos elásticos: Serverless resource groups admite escalado elástico bajo demanda y facturación pay-as-you-go para gestionar eficazmente las fluctuaciones de tráfico.
Gestión del rendimiento: admite control de concurrencia, limitación de velocidad, manejo de datos erróneos y procesamiento distribuido para garantizar una sincronización estable ante distintas cargas de trabajo.
Desarrollo low-code y mantenimiento inteligente
Reduzca la complejidad del desarrollo y los costos de mantenimiento de la sincronización de datos mediante configuración visual y flujos de trabajo simplificados.
Desarrollo low-code: la Codeless UI proporciona una interfaz de configuración visual que permite configurar la mayoría de las tareas de sincronización con simples clics, sin escribir código. El Code editor admite configuraciones avanzadas mediante scripts JSON para cubrir requisitos complejos, como parametrización y mapeo dinámico de columnas.
Mantenimiento full-stack: las tareas de sincronización por lotes se integran en flujos de trabajo DAG, con compatibilidad para orquestación de programación, monitoreo y alertas.
Gestión integral de seguridad
Integra mecanismos de seguridad multicapa para garantizar la controlabilidad y el cumplimiento normativo de los datos durante todo su ciclo de vida.
Gestión centralizada: un centro unificado de gestión de orígenes de datos que admite el control de acceso sobre dichos orígenes y el aislamiento entre los entornos de desarrollo y producción.
Protección de seguridad: cumple con el control de acceso de RAM y admite autenticación basada en roles y enmascaramiento de datos.
Facturación
Los costos de las tareas de Data Integration incluyen principalmente resource group fees, scheduling fees y public network traffic fees. Las tareas de Data Integration dependen de resource groups, cuyos costos se cobran directamente a dichos grupos. Algunas tareas de sincronización por lotes y por lotes de base de datos completa implican ejecuciones programadas y generan cargos de programación. Si los orígenes de datos transfieren información a través de Internet, también aplican cargos por tráfico de red pública. Para más detalles sobre la facturación, consulte Core billing scenarios.
Conectividad de red
La conectividad de red entre los orígenes de datos y los resource groups es un requisito previo para que las tareas de Data Integration se ejecuten correctamente. Asegúrese de mantener dicha conectividad; de lo contrario, las tareas fallarán inevitablemente.
Data Integration admite la sincronización de datos entre orígenes heterogéneos a través de entornos de red complejos, lo que incluye los siguientes escenarios:
Sincronización de datos entre cuentas o regiones de Alibaba Cloud.
Conectividad de nube híbrida y centros de datos locales (IDC).
Configuraciones de múltiples canales de red, como Internet, VPC y CEN.
Para conocer las soluciones detalladas de configuración de red, consulte Overview.
Referencias
Una vez configurados los orígenes de datos, cree tareas de sincronización en Data Integration o en Data Development para transferir y migrar datos. Para más información, consulte: