Tous les produits
Search

Ce produit

    E-MapReduce:Configurer les métadonnées pour un cluster Spark

    Centre de documentation

    E-MapReduce:Configurer les métadonnées pour un cluster Spark

    Dernière mise à jour :Sep 21, 2026

    Vous pouvez configurer les métadonnées d'un cluster Spark dans EMR on ACK en utilisant soit Data Lake Formation (DLF), soit un metastore Hive géré par vos soins. Cette rubrique décrit la procédure à suivre.

    Informations générales

    Data Lake Formation (DLF) offre une haute disponibilité et facilite la maintenance, ce qui en fait un choix adapté aux cas d'utilisation suivants :

    • Lorsque tous vos clusters EMR se trouvent dans un environnement de production, vous n'avez pas besoin de maintenir une base de données de métadonnées distincte.

    • Lorsque vous utilisez plusieurs moteurs de calcul Big Data tels que MaxCompute, Hologres et Platform for AI, vous pouvez centraliser la gestion des métadonnées.

    • Lorsque vous disposez de plusieurs clusters EMR, vous pouvez gérer leurs métadonnées de manière uniforme.

    Prérequis

    • Vous avez créé un cluster Spark dans la console EMR on ACK. Pour plus d'informations, consultez la section Étape 1 : Créer un cluster.

    • Si vous souhaitez utiliser Data Lake Formation (DLF), assurez-vous que le service DLF est activé. Pour plus d'informations, consultez la section Démarrage rapide.

    • Si vous souhaitez utiliser un metastore Hive géré par vos soins, vous devez disposer d'un service de metastore Hive accessible depuis votre cluster ACK via le réseau.

    Option 1 : Utiliser Data Lake Formation (DLF) (recommandé)

    1. Accédez à la page des détails du cluster.

      1. Connectez-vous à la console EMR on ACK.

      2. Sur la page EMR on ACK, cliquez sur le nom du cluster cible.

    2. Sur la page Cluster Details, cliquez sur Enable à côté de Data Lake Formation (DLF).

    3. Dans la boîte de dialogue Enable DLF, cliquez sur OK.

      Une fois cette configuration effectuée, les tâches soumises au cluster Spark se connectent automatiquement à DLF.

    Option 2 : Utiliser un metastore Hive géré par vos soins

    1. Accédez à la page de configuration du cluster.

      1. Connectez-vous à la console EMR on ACK.

      2. Sur la page EMR on ACK, localisez le cluster cible et cliquez sur Configure dans la colonne Actions.

    2. Sous l'onglet Configure, cliquez sur l'onglet spark-defaults.conf.

    3. Ajoutez une configuration personnalisée.

      1. En haut de la page, cliquez sur Add Configuration Item.

      2. Définissez la clé sur spark.hadoop.hive.metastore.uris et la valeur sur thrift://<IP address of your self-managed Hive metastore>:9083.

        Ce paramètre spécifie l'URI permettant de se connecter au metastore Hive via le protocole Thrift. Modifiez cette valeur en fonction de votre environnement.

      3. Cliquez sur OK.

      4. Dans la boîte de dialogue qui s'affiche, saisissez une raison et cliquez sur Save.

    4. Déployez la configuration client.

      1. Cliquez sur Deploy Client Configuration.

      2. Dans la boîte de dialogue qui s'affiche, saisissez une raison et cliquez sur OK.

      3. Dans la boîte de dialogue Confirm, cliquez sur OK.

      Une fois cette configuration effectuée, les tâches soumises au cluster Spark se connectent automatiquement à votre metastore Hive géré par vos soins.