Tutoriels pas à pas pour des combinaisons spécifiques de sources et de cibles de données dans DataWorks Data Integration, couvrant la synchronisation par lots, la capture des données modifiées (CDC) en temps réel, la migration JSON et l'ingestion de données IoT.
Chaque tutoriel traite d'une combinaison source-destination spécifique et vous guide lors de la configuration, de l'exécution et de la vérification. Pour une planification stratégique et des conseils architecturaux, consultez [Scénarios métier courants]().
Choisir une méthode de synchronisation
Avant de choisir un tutoriel, identifiez vos besoins en matière de synchronisation :
|
Besoin |
Méthode recommandée |
Cas d'utilisation typique |
|
Copie complète ponctuelle ou planifiée |
Nœud de synchronisation par lots |
Migration de données historiques, instantanés périodiques |
|
Suivi des modifications à faible latence depuis des bases de données relationnelles |
Synchronisation CDC en temps réel |
MySQL ou Oracle vers MaxCompute avec mises à jour en quasi-temps réel |
|
Architecture serverless, sans groupe de ressources à gérer |
Tâche de synchronisation serverless |
Pipelines ponctuels ou légers sans ressources dédiées |
|
Source semi-structurée (fichiers JSON dans OSS) |
Synchronisation par lots avec lecteur JSON |
Fichiers journaux, données d'événements stockées au format JSON dans OSS |
|
Télémétrie des appareils à grande échelle |
Pipeline d'ingestion de données IoT |
Données de capteurs en série temporelle depuis IoT Platform |
Si vous hésitez sur la méthode adaptée à votre charge de travail, prenez en compte les facteurs suivants :
Latence : La synchronisation CDC propage les modifications en quelques secondes. La synchronisation par lots s'exécute selon une planification (de quelques minutes à plusieurs heures).
Type de source : La CDC nécessite une base de données relationnelle avec la journalisation binaire ou le suivi des modifications activé. La synchronisation par lots prend en charge une gamme plus large de sources.
Infrastructure : La synchronisation par lots et la synchronisation en temps réel nécessitent un groupe de ressources dédié. Les tâches de synchronisation serverless n'en requièrent aucun.
Tutoriels disponibles
Synchronisation depuis des bases de données relationnelles
MySQL vers MaxCompute (CDC en temps réel) — Synchronisez les modifications incrémentielles depuis MySQL à l'aide de la capture des données modifiées. Ce tutoriel explique comment activer le journal binaire (binlog), configurer le lecteur CDC et vérifier les modifications au niveau des lignes dans MaxCompute.
MySQL vers MaxCompute (par lots) — Planifiez une synchronisation par lots complète ou incrémentielle depuis MySQL. Ce tutoriel couvre l'extraction incrémentielle basée sur des repères (watermarks) et l'écriture partitionnée dans MaxCompute.
Oracle vers MaxCompute — Migrez des tables Oracle vers MaxCompute avec mappage des types et configuration des partitions.
Synchronisation depuis des entrepôts de documents et d'objets
Fichiers JSON OSS vers MaxCompute — Analysez et chargez des fichiers JSON semi-structurés depuis OSS dans des tables MaxCompute. Ce tutoriel aborde le mappage du schéma, l'aplatissement des champs imbriqués et la gestion des enregistrements malformés.
MongoDB vers MaxCompute (lecture par lots) — Extrayez des documents depuis des collections MongoDB et écrivez-les dans MaxCompute. Ce tutoriel couvre le filtrage des collections, la projection des champs et la configuration du mode d'écriture.
Ingestion IoT et streaming
IoT Platform vers MaxCompute — Ingérez la télémétrie des appareils en série temporelle depuis Alibaba Cloud IoT Platform dans MaxCompute. Ce tutoriel explique comment s'abonner aux topics, analyser les horodatages et configurer le partitionnement par date.
Rubriques connexes
[Scénarios métier courants]() — Modèles architecturaux et aperçus des scénarios pour planifier votre stratégie d'intégration.
[Présentation de Data Integration]() — Connecteurs pris en charge, exigences en matière de groupes de ressources et types de nœuds de synchronisation.
[Configurer un nœud de synchronisation par lots]() — Référence pour tous les paramètres des plugins de lecture et d'écriture.
[Configurer un nœud de synchronisation en temps réel]() — Référence pour la configuration de la source CDC et les paramètres de livraison exactly-once.