Dans Alibaba Cloud E-MapReduce (EMR), vous pouvez sélectionner un type de stockage des métadonnées, tel que Data Lake Formation (DLF) ou ApsaraDB RDS, lors de la création d'un cluster. Vous pouvez également modifier ce type après la création du cluster. Cette rubrique présente Data Lake Formation et explique comment changer le type de stockage des métadonnées pour un cluster EMR.
Contexte
DLF est un service entièrement géré développé par Alibaba Cloud pour vous aider à construire et gérer facilement un lac de données cloud-native. DLF centralise la gestion des métadonnées et des autorisations utilisateur, facilite l'ingestion de données dans les lacs de données et permet d'explorer ces données en quelques clics. Pour plus d'informations, consultez Présentation.
DLF permet également de connecter le lac de données cloud-native à divers moteurs de calcul. Cette approche contribue à briser les silos de données et à tirer parti de la valeur métier des données.
Prérequis
Activez le service DLF dans la console DLF.
Limites
Le stockage unifié des métadonnées DLF est compatible avec Hive 2.x, Hive 3.x, Presto et Spark SQL dans EMR.
Seules les versions EMR 3.30.0 ou ultérieure et EMR 4.5.0 ou ultérieure prennent en charge le stockage unifié des métadonnées DLF en tant que base de données Hive.
Procédure
-
Accédez à la page du service Hive.
Connectez-vous à la console E-MapReduce.
Dans la barre de navigation supérieure, sélectionnez une région et un groupe de ressources en fonction de vos besoins métier.
Sur la page EMR on ECS, localisez le cluster cible et cliquez sur Services dans la colonne Actions.
Dans la section du service Hive, cliquez sur Configure.
-
Dans la zone de recherche de configuration, saisissez le nom du paramètre hive.imetastoreclient.factory.class et cliquez sur l'icône
.-
Pour basculer vers un metastore MySQL (y compris MySQL intégré, base de métadonnées unifiée et RDS autogéré) :
Définissez hive.imetastoreclient.factory.class sur org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientFactory.
-
Pour basculer vers le stockage unifié des métadonnées DLF :
Définissez hive.imetastoreclient.factory.class sur com.aliyun.datalake.metastore.hive2.DlfMetaStoreClientFactory.
-
-
Enregistrez la configuration.
Dans la section Service Configuration de la page du service Hive, cliquez sur Save.
Dans la boîte de dialogue qui s'affiche, indiquez un motif d'exécution et cliquez sur Save.
-
Redémarrez le service Hive.
Sur la page du service Hive, choisissez dans le coin supérieur droit.
Dans la boîte de dialogue qui s'affiche, saisissez un Execution Reason et cliquez sur OK.
-
Dans la boîte de dialogue Confirm, cliquez sur OK.
Cliquez sur Operation History en haut de la page pour consulter la progression de la tâche et attendre qu'elle se termine.