Tutoriales paso a paso para combinaciones específicas de fuentes y destinos de datos en DataWorks Data Integration, que abarcan sincronización por lotes, CDC en tiempo real, migración de JSON e ingesta de datos de IoT.
Cada tutorial aborda una combinación específica de origen y destino, y lo guía durante la configuración, ejecución y verificación. Para obtener orientación sobre planificación y arquitectura de alto nivel, consulte [Escenarios empresariales comunes]().
Elija un método de sincronización
Antes de seleccionar un tutorial, identifique sus requisitos de sincronización:
|
Requisito |
Método recomendado |
Caso de uso típico |
|
Copia completa única o programada |
Nodo de sincronización por lotes |
Migración de datos históricos, instantáneas periódicas |
|
Seguimiento de cambios de baja latencia desde bases de datos relacionales |
Sincronización CDC en tiempo real |
MySQL u Oracle a MaxCompute con actualizaciones casi en tiempo real |
|
Serverless, sin resource group que gestionar |
Tarea de sincronización serverless |
Pipelines ad hoc o ligeros sin recursos dedicados |
|
Origen semiestructurado (archivos JSON en OSS) |
Sincronización por lotes con lector JSON |
Archivos de registro, datos de eventos almacenados como JSON en OSS |
|
Telemetría de dispositivos a gran escala |
Pipeline de ingesta de datos de IoT |
Datos de sensores de series temporales desde IoT Platform |
Si no está seguro de qué método se adapta a su carga de trabajo, considere los siguientes factores:
Latencia: La sincronización CDC entrega cambios en segundos. La sincronización por lotes se ejecuta según una programación (de minutos a horas).
Tipo de origen: CDC requiere una base de datos relacional con registro binario o seguimiento de cambios habilitado. La sincronización por lotes admite una gama más amplia de orígenes.
Infraestructura: La sincronización por lotes y en tiempo real requieren un resource group dedicado. Las tareas de sincronización serverless no lo requieren.
Tutoriales disponibles
Sincronización desde bases de datos relacionales
MySQL a MaxCompute (CDC en tiempo real): Sincronice cambios incrementales desde MySQL mediante captura de datos de cambio. Incluye la habilitación de binlog, la configuración del lector CDC y la verificación de cambios a nivel de fila en MaxCompute.
MySQL a MaxCompute (lotes): Programe una sincronización por lotes completa o incremental desde MySQL. Abarca la extracción incremental basada en marcas de agua y la escritura de particiones en MaxCompute.
Oracle a MaxCompute: Migre tablas de Oracle a MaxCompute con asignación de tipos y configuración de particiones.
Sincronización desde almacenes de documentos y objetos
Archivos JSON de OSS a MaxCompute: Analice y cargue archivos JSON semiestructurados desde OSS hacia tablas de MaxCompute. Incluye la asignación de esquemas, el aplanamiento de campos anidados y el manejo de registros con formato incorrecto.
MongoDB a MaxCompute (lectura por lotes): Extraiga documentos de colecciones de MongoDB y escríbalos en MaxCompute. Abarca el filtrado de colecciones, la proyección de campos y la configuración del modo de escritura.
Ingesta de IoT y streaming
IoT Platform a MaxCompute: Ingeste telemetría de dispositivos de series temporales desde Alibaba Cloud IoT Platform hacia MaxCompute. Incluye la suscripción a temas, el análisis de marcas de tiempo y la configuración de particiones por tiempo.
Temas relacionados
[Escenarios empresariales comunes](): Patrones de arquitectura y descripciones generales de escenarios para planificar su estrategia de integración.
[Descripción general de Data Integration](): Conectores compatibles, requisitos de resource group y tipos de nodos de sincronización.
[Configurar un nodo de sincronización por lotes](): Referencia para todos los parámetros de plugin de lector y escritor.
[Configurar un nodo de sincronización en tiempo real](): Referencia para la configuración de origen CDC y ajustes de entrega exactly-once.