E-MapReduce (EMR) permet de migrer les métadonnées Hive stockées dans les anciens types de stockage (MySQL intégré ou Unified Metabases) vers Data Lake Formation (DLF). En 2020, Alibaba Cloud EMR a lancé DLF Unified Metadata, un nouveau type de stockage offrant un service de métadonnées unifié amélioré. Cette rubrique indique quand migrer, présente les avantages de DLF et détaille le processus de migration en quatre phases.
Quand migrer
Migrez vers DLF si l'une des situations suivantes s'applique à votre cluster :
Votre cluster utilise MySQL intégré. Une base de données MySQL locale fonctionne en mode autonome, ce qui ne garantit pas la haute disponibilité et expose à des interruptions de service.
Votre cluster utilise Unified Metabases. Ce type de stockage est progressivement abandonné. Les clusters doivent basculer vers DLF Unified Metadata, disponible dans la nouvelle console EMR.
Votre cluster utilise ApsaraDB RDS. La migration est facultative, mais elle offre de meilleures performances de stockage et une meilleure évolutivité.
Pourquoi choisir DLF
DLF est un service de métadonnées entièrement géré, hautement disponible et performant. Il est compatible avec plusieurs versions de Hive metastore et s'intègre aux moteurs de calcul open source d'EMR. Parmi ses fonctionnalités figurent :
Le profilage des données, l'exploration des données et la gestion du data lake
La gestion des autorisations d'accès aux données
L'intégration avec MaxCompute, Databricks DataInsight (DDI) et Hologres
Pour plus d'informations, consultez la section Présentation de DLF.
Processus de migration
Les équipes Alibaba Cloud EMR et DLF vous accompagnent tout au long de la migration. Le tableau ci-dessous décrit chaque phase, les étapes à suivre et la durée estimée.
Pendant la migration (phase 2), toutes les tâches du cluster doivent être suspendues. Prévoyez environ 30 minutes d'interruption des tâches.
| Phase | Étapes | Participant | Durée estimée |
|---|---|---|---|
| 1. Préparations |
|
Équipe EMR + vous | 2 heures |
| 2. Migration | 1. Suspendez les tâches en cours d'exécution et arrêtez le service de métadonnées. 2. Sauvegardez les métadonnées existantes. 3. Migrez les métadonnées vers DLF à l'aide de la fonctionnalité de migration des métadonnées, puis vérifiez que la migration s'est déroulée comme prévu. 4. Définissez le paramètre Type sur DLF Unified Metadata. 5. Reprenez les tâches suspendues. | Équipe EMR + vous | 30 minutes |
| 3. Vérification | Observez l'exécution des tâches pendant au moins une semaine. Si les tâches s'exécutent correctement, la migration est terminée. En cas de problème, déterminez s'il faut les résoudre en ligne ou lancer une restauration (voir phase 4). | Équipe EMR + vous | 1 semaine |
| 4. Restauration (facultatif) | 1. Suspendez les tâches en cours d'exécution. 2. Comparez les métadonnées entre DLF et Hive metastore, puis réécrivez les données incrémentielles dans Hive metastore. 3. Définissez le paramètre Type sur Unified Metabases. 4. Démarrez Hive metastore. 5. Reprenez les tâches suspendues et vérifiez les résultats. | Équipe EMR + vous | 30 minutes |
Obtenir de l'aide
Pour démarrer la migration, rejoignez le groupe DingTalk en recherchant le numéro de groupe 33719678. Des ingénieurs vous contacteront pour planifier la migration avec vous.