DataWorks Data Integration ofrece una solución potente para la sincronización de bases de datos en tiempo real. Esta solución replica todas las tablas, o solo un subconjunto seleccionado, desde una base de datos de origen hacia un almacén de datos de destino con baja latencia. El proceso es automático e integra la carga completa y la incremental. La función se basa en un motor de cómputo en tiempo real. Primero ejecuta automáticamente la carga inicial completa de los datos y luego cambia sin interrupciones a la captura continua de datos de cambios incrementales (CDC). Se trata de una solución integral para escenarios como la migración a la nube en tiempo real y la construcción de la capa ODS de un almacén de datos en tiempo real.
Escenarios de uso
-
Construir una capa ODS en tiempo real para su almacén de datos
Sincronice los datos de bases de datos operacionales, como MySQL y Oracle, hacia un almacén de datos en tiempo real como Hologres o StarRocks. Así proporcionará datos actualizados para paneles y consultas ad hoc.
-
Replicación de bases de datos en tiempo real para recuperación ante desastres
Establezca un enlace de replicación en tiempo real entre dos instancias de base de datos. Esto permite dividir lecturas y escrituras, crear réplicas de solo lectura o implementar la recuperación ante desastres entre bases de datos homogéneas o heterogéneas.
-
Migración de datos a la nube en tiempo real
Migre bases de datos sin interrupciones desde un centro de datos local hacia un servicio de base de datos en la nube.
-
Construir un lago de datos o una plataforma intermedia de datos en tiempo real
Recopile los datos de cambios en tiempo real de varias bases de datos operacionales en un lago de datos central (OSS o DLF) o en un almacén de datos (MaxCompute o Hologres). De esta forma construirá una plataforma intermedia de datos unificada en tiempo real.
Funciones principales
La sincronización de bases de datos en tiempo real proporciona a continuación las siguientes funciones:
Función principal | Función | Descripción |
Sincronizar bases de datos completas entre orígenes de datos heterogéneos | - | La sincronización de bases de datos en tiempo real es compatible con la migración de datos desde centros de datos locales u otras plataformas en la nube hacia un almacén de datos o lago de datos como MaxCompute, Hologres o Kafka. Para obtener más información, consulte Supported data sources and synchronization solutions. |
Sincronizar datos en entornos de red complejos | - | La sincronización en tiempo real admite datos provenientes de servicios de base de datos de Alibaba Cloud, centros de datos locales, bases de datos autogestionadas en ECS y bases de datos en otras plataformas en la nube. Antes de configurar la tarea, asegúrese de que exista conectividad de red entre el resource group, el origen y el destino. Para obtener más información, consulte Network connectivity solutions. |
Escenarios de sincronización | Sincronización completa | Ejecuta una única sincronización completa de datos desde el origen hacia las tablas de destino. |
Sincronización incremental | Captura de forma continua datos de streaming desde colas de mensajes o registros CDC y los escribe en tiempo real en las tablas de destino o en particiones específicas. | |
Sincronización integrada completa e incremental |
| |
Configuración de tareas | Sincronización de tablas por lotes | Sincronice todas las tablas de una base de datos o utilice reglas de selección y filtrado para especificar el subconjunto de tablas que desea sincronizar. |
Creación automática de tablas | Configure la tarea una sola vez para procesar cientos de tablas de la base de datos de origen. El sistema crea automáticamente los esquemas de tabla en el destino sin intervención manual. | |
Asignación flexible | Admite reglas de nomenclatura personalizadas para las bases de datos y tablas de destino, así como asignaciones personalizadas de tipos de campo entre el origen y el destino. Esto permite adaptarse con flexibilidad al modelo de estructura de datos del destino. | |
Detección de cambios DDL (compatible con ciertos enlaces de sincronización) | Cuando el esquema de la tabla de origen cambia, por ejemplo al crear o eliminar tablas o columnas, puede configurar la tarea de sincronización para que aplique una de las siguientes estrategias de respuesta:
| |
Configuración de reglas DML | El procesamiento de mensajes DML le permite aplicar filtros y controles detallados sobre los datos de cambio capturados en el origen ( | |
Particionamiento dinámico | Si la tabla de destino está particionada, se admite el particionamiento dinámico basado en campos de origen o en la hora del cambio de evento en el lado del origen. Importante Un número excesivo de particiones degrada el rendimiento de la sincronización. Si se agregan más de 1,000 particiones en un solo día, la creación de particiones falla y la tarea se termina. | |
Operación y mantenimiento de tareas | Intervención en línea | Admite la reanudación basada en puntos de control. Tras una interrupción, la tarea retoma la ejecución desde un punto de control temporal específico para evitar la pérdida de datos durante la sincronización. También permite volver a ejecutar tareas para rellenar datos, corregir anomalías o verificar cambios de lógica, lo cual garantiza la consistencia de los datos y la continuidad del negocio. |
Monitoreo y alertas | Admite reglas de monitoreo para la latencia del negocio, el estado de la tarea, el failover y las notificaciones DDL. Además, genera alertas cuando estas reglas se activan. | |
Ajuste de recursos | DataWorks Data Integration se basa en serverless resource groups y ofrece escalado elástico a nivel de tarea. Además, puede configurar directivas de escalado elástico basadas en tiempo para asignar distintas especificaciones de recursos a la tarea en diferentes momentos, como durante picos de actividad y horas de menor demanda. | |
DI Agent | AI Native | DI Agent es un conjunto de funciones verticales de Data Agent diseñado para el escenario de integración de datos. Abarca seis funciones principales: configuración de tareas mediante conversación, procesamiento de datos multimodal, preguntas y respuestas de datos con ChatDB, diagnósticos inteligentes, inspecciones periódicas e integración con canales de mensajería instantánea. |
Primeros pasos
Para crear una tarea de sincronización de bases de datos en tiempo real, consulte Create a real-time database synchronization task.
Si desea crear y gestionar tareas de sincronización de bases de datos en tiempo real mediante conversaciones en lenguaje natural, utilice la función AI Native Data Agent. Data Agent es compatible con todos los tipos de tareas, incluidas las de tabla única sin conexión, tabla única en tiempo real, base de datos completa sin conexión y base de datos completa en tiempo real. No necesita llenar formularios de configuración manualmente. Una sola frase basta para completar todo el proceso, desde la comprensión de la intención hasta el despliegue de la tarea. Para obtener más información, consulte Use Data Agent to create data integration tasks.
Orígenes de datos compatibles
Orígenes de datos de origen | Orígenes de datos de destino |
MaxCompute | |
AnalyticDB for MySQL (V3.0) | |
ApsaraDB for OceanBase | |
Data Lake Formation (DLF) | |
DataHub | |
Doris | |
Elasticsearch | |
Hologres | |
Kafka | |
| LogHub |
OSS | |
OSS-HDFS | |
SelectDB | |
StarRocks | |
Lindorm |