Lindorm Tunnel Service (LTS) assure le transfert des données vers, depuis et entre les bases de données Lindorm. LTS prend en charge la migration complète et incrémentielle des données, le suivi des modifications en temps réel, l'archivage dans un lac de données, la synchronisation inter-clusters ainsi que les opérations de sauvegarde et de restauration.
Fonctionnalités principales
|
Fonctionnalité |
Description |
|
Architecture cloud native et distribuée |
S'exécute sur des instances Elastic Compute Service (ECS) avec mise à l'échelle horizontale. Ajoutez des nœuds selon vos besoins pour adapter la charge de travail sans avoir à pré-allouer les ressources. |
|
Configuration en une seule étape |
Sélectionnez une source, une destination et les colonnes à synchroniser. LTS réplique automatiquement le schéma et exécute la synchronisation complète puis incrémentielle, sans mappage manuel du schéma ni configuration par étapes. |
|
Vérifications de sécurité intégrées |
Avant le démarrage d'une tâche, LTS vérifie automatiquement la connectivité réseau et la sécurité. Pendant l'exécution, il surveille en temps réel la latence de synchronisation et l'utilisation du stockage de destination, en appliquant au besoin une limitation du débit et des alertes. À la fin de la tâche, LTS valide l'exactitude des données. |
|
Optimisé pour HBase et Cassandra |
Le traitement des données au niveau des fichiers offre un débit jusqu'à 10 fois supérieur à celui des migrations via la couche API, tout en optimisant l'utilisation du CPU, du cache, de la mémoire et des E/S réseau afin de réduire les coûts de transfert. |
Chemins de données pris en charge
|
Source |
Destination |
Cas d'utilisation |
Références |
|
HBase |
LindormTable |
Migration de données entre clusters, mises à niveau de cluster, découplage des charges de travail en ligne et hors ligne, reprise après sinistre en mode actif/passif et redondance géographique active. |
|
|
MaxCompute / Hive |
LindormTable |
Accélération des requêtes hors ligne ; envoi des détails et des métriques de l'entrepôt de données vers Lindorm pour des requêtes en ligne. |
Contactez le support technique |
Suivi des modifications en temps réel
Lindorm Stream permet de s'abonner aux modifications incrémentielles des données dans Lindorm en temps réel. Pour plus d'informations, consultez la rubrique Lindorm Stream.
Fonctionnalités obsolètes
Les fonctionnalités suivantes ne sont plus disponibles pour les instances LTS achetées après les dates indiquées. Si votre instance a été achetée avant la date limite, vous pouvez toujours utiliser la fonctionnalité concernée.
|
Fonctionnalité |
Date limite |
Alternative |
|
ApsaraDB RDS vers LindormTable (importation complète et incrémentielle) |
10 mars 2023 |
Utilisez Data Management (DMS) pour synchroniser les données. Consultez la rubrique Importer les données complètes et incrémentielles depuis ApsaraDB RDS pour les instances existantes. |
|
LindormTable vers MaxCompute (exportation complète et incrémentielle) |
16 juin 2023 |
Consultez les rubriques Exporter les données complètes vers MaxCompute et Archiver les données incrémentielles dans MaxCompute pour les instances existantes. |
|
Abonnement LogHub Simple Log Service (SLS) (importation incrémentielle) |
16 juin 2023 |
Consultez la rubrique Importer des données incrémentielles depuis SLS pour les instances existantes. |
Cas d'utilisation
Migration de cluster
Migrez les données de HBase vers Lindorm, modifiez les réseaux de cluster (par exemple, passez du réseau classique à un Virtual Private Cloud (VPC)), déplacez les données entre régions ou découplez les charges de travail entre clusters, le tout sans interruption de service.
Fonctionnement :
LTS lit directement les données historiques depuis le système de fichiers distribué Hadoop (HDFS) du cluster source, en contournant la couche de service HBase ou Lindorm. Les charges de travail de production ne sont pas affectées.
Au sein de la même tâche, LTS synchronise les données incrémentielles en temps réel afin que la destination reste à jour tout au long de la migration.
Une fois la migration terminée, LTS vérifie l'exactitude des données et confirme la cohérence des partitions grâce à la synchronisation automatique du schéma.
Performances :
Chaque nœud migre les données à une vitesse pouvant atteindre 100 Mo/s. Ajoutez des nœuds pour augmenter linéairement la capacité et traiter des volumes de données de l'ordre du téraoctet ou du pétaoctet.
Le traitement au niveau des fichiers réduit l'utilisation des données de plus de 50 % par rapport aux migrations via la couche API.
Des mécanismes de nouvelle tentative intégrés, une surveillance en temps réel de la progression et des alertes en cas d'échec garantissent la stabilité du processus.
Découplage des charges de travail en ligne et hors ligne
Synchronisez en temps réel les données métier en ligne vers le système de fichiers distribué Hadoop (HDFS) ou Object Storage Service (OSS), puis analysez-les avec Spark ou MapReduce sans impacter les performances des requêtes en ligne.
Reprise après sinistre en mode actif/passif
Configurez une synchronisation bidirectionnelle des données entre un cluster actif et un cluster de secours. En cas de défaillance du cluster actif, basculez vers le cluster de secours pour minimiser les temps d'arrêt. Après la récupération, utilisez LTS pour synchroniser les données incrémentielles du cluster de secours vers le cluster actif.
Archivage des données historiques depuis ApsaraDB RDS
À mesure que le volume des données transactionnelles augmente dans ApsaraDB RDS, les performances des requêtes se dégradent et les coûts de stockage augmentent. LTS synchronise en temps réel les données d'ApsaraDB RDS vers LindormTable, séparant ainsi les données chaudes des données froides pour résoudre ces deux problèmes.
LindormTable gère les données archivées avec une mise à l'échelle horizontale automatique, des requêtes à forte concurrence, un indexation multidimensionnelle et des analyses légères. Lindorm Stream suit les modifications des données de manière séquentielle. LTS synchronise également les données de LindormTable vers d'autres systèmes d'analyse pour un traitement ultérieur.
La synchronisation d'ApsaraDB RDS vers Lindorm est uniquement disponible pour les instances LTS achetées avant le 10 mars 2023. Pour les nouvelles instances, utilisez plutôt Data Management (DMS).