Lindorm Tunnel Service (LTS) est un service d'écosystème de données conçu pour les scénarios métier d'ApsaraDB for HBase. Il gère la migration, la synchronisation, l'abonnement et l'archivage des données. Vous pouvez ainsi transférer des données entre clusters, diffuser des mises à jour en temps réel, déverser des données dans un data lake et réinjecter des données dans un entrepôt via un seul service. LTS était auparavant connu sous le nom de Big DataHub Service (BDS).
Fonctionnalités principales
Système distribué cloud-native : LTS s'exécute en tant que système distribué sur Elastic Compute Service (ECS). Mettez à l'échelle horizontalement en ajoutant des nœuds pour répondre à vos exigences de débit.
Facilité d'utilisation : Configurez des tâches de migration, d'importation, d'abonnement et d'archivage en quelques clics. Pour une tâche de migration, spécifiez la source, la destination et les colonnes à synchroniser ; LTS réplique automatiquement les schémas, les données complètes et les données incrémentielles.
Haute sécurité et fiabilité : Avant le démarrage d'une tâche, LTS vérifie la connectivité réseau et la sécurité. Pendant l'exécution de la tâche, il surveille la latence de synchronisation et le stockage du cluster de destination en temps réel, applique une limitation du trafic et envoie des alertes. Une fois la tâche terminée, LTS vérifie les données synchronisées.
Rentabilité : LTS réplique les données à partir de fichiers physiques plutôt que via des appels API, ce qui est 10 fois plus efficace que la réplication traditionnelle des données. S'appuyant sur des composants internes optimisés d'Apache HBase, Apache Phoenix et Apache Cassandra, il offre également des performances optimisées au niveau du CPU, du cache, de la mémoire et des E/S réseau.
Caractéristiques
| Caractéristique | Scénario | Références |
|---|---|---|
| Migration ou synchronisation de données entre clusters HBase | Migration transparente des données entre des clusters existants et de nouveaux clusters, mises à niveau de cluster, découplage des charges de travail en ligne et hors ligne, reprise après sinistre actif/passif et redondance géographique active | Synchroniser les données complètes et incrémentielles |
| Exportation de données depuis HBase vers MaxCompute (précédemment connu sous le nom de Open Data Processing Service (ODPS)) | Exportation de données historiques et de données incrémentielles | Exporter les données complètes vers MaxCompute et Archiver les données incrémentielles vers MaxCompute |
| Abonnement au Log Service pour synchroniser les données avec HBase | Abonnement aux données en temps réel dans le Log Service pour synchroniser les données avec HBase | Importer les données incrémentielles depuis le Log Service |
| Abonnement aux données incrémentielles HBase | Abonnement aux données en temps réel d'ApsaraDB for HBase Performance-enhanced Edition | Instructions |
Gestion du cycle de vie des journaux
Lorsque vous activez l'abonnement aux journaux, LTS conserve les données de journal non consommées pendant 48 heures. Passé ce délai, l'abonnement est automatiquement annulé et les données conservées sont supprimées.
La consommation des données de journal peut échouer dans deux situations : le cluster LTS est libéré alors qu'une tâche est en cours d'exécution, ou la tâche de synchronisation est suspendue.
L'abonnement aux journaux est pris en charge pour les types de tâches suivants : synchronisation incrémentielle HBase ou Lindorm, archivage des données, sauvegarde des données et abonnement aux données.
Cas d'utilisation
Migration sans interruption de service
LTS prend en charge la migration sans temps d'arrêt pour HBase 1.x, HBase 2.x, ApsaraDB for HBase Performance-enhanced Edition, Phoenix 4.x et Phoenix 5.x.
Migrez les données historiques et synchronisez les données incrémentielles en temps réel en une seule tâche, sans interruption de service.
LTS lit les données directement depuis le Hadoop Distributed File System (HDFS) du cluster source sans interagir avec le cluster HBase source, minimisant ainsi l'impact sur les charges de travail en ligne.
La réplication basée sur les fichiers réduit le trafic de plus de 50 % par rapport à la réplication basée sur les API.
Chaque nœud migre les données à une vitesse pouvant atteindre 100 Mo/s. Ajoutez des nœuds horizontalement pour gérer des ensembles de données de l'ordre du téraoctet ou du pétaoctet.
La synchronisation automatique des schémas garantit la cohérence des partitions entre la source et la destination.
Les mécanismes intégrés de nouvelle tentative de tâche, de surveillance de la progression en temps réel et d'alertes en cas d'échec assurent le bon déroulement des migrations.
La vérification des données après migration confirme leur exactitude.
Découplage des charges de travail en ligne et hors ligne
Synchronisez les données métier en ligne en temps réel vers Object Storage Service (OSS) ou HDFS. Utilisez Spark et MapReduce pour analyser les données sans affecter les performances des requêtes en ligne.
Reprise après sinistre actif/passif
LTS prend en charge la synchronisation bidirectionnelle des données entre un cluster principal et un cluster secondaire. En cas de défaillance du cluster principal, basculez les charges de travail vers le cluster secondaire. Une fois le cluster principal récupéré, utilisez LTS pour synchroniser les données incrémentielles du cluster secondaire vers le cluster principal.
Séparation des données chaudes et froides pour ApsaraDB RDS
Lorsque l'historique des transactions ou d'autres données historiques provoquent des goulots d'étranglement au niveau des performances d'ApsaraDB RDS, utilisez LTS pour synchroniser les données RDS vers ApsaraDB for HBase en temps réel. Cette approche sépare les données chaudes des données froides. ApsaraDB for HBase offre une mise à l'échelle horizontale automatique, des requêtes à haute concurrence, une indexation multidimensionnelle et une analyse légère. Utilisez Streams pour vous abonner aux mises à jour des données dans l'ordre, ou synchronisez les données d'ApsaraDB for HBase vers d'autres systèmes d'analyse pour effectuer des analyses complexes.