E-MapReduce:Utiliser un cluster Trino autonome

Informations générales

Pour utiliser un cluster Trino autonome, créez ou utilisez un cluster DataLake, personnalisé ou Hadoop existant qui servira de cluster de données.

Configurer un connecteur

Configurez les objets de requête dans le connecteur souhaité. La procédure suivante utilise le connecteur Hive à titre d'exemple.

1. Accédez à la page Services du cluster.

   1. Connectez-vous à la console EMR on ECS.

   2. Dans la barre de navigation supérieure, sélectionnez la région requise et le groupe de ressources.

   3. Sur la page EMR on ECS, localisez le cluster cible et cliquez sur Services dans la colonne Actions.

2. Sur la page Services, cliquez sur Configure dans la section du service Trino.

3. Modifiez les éléments de configuration.

   1. Sur la page Configure, cliquez sur l'onglet hive.properties.

   2. Définissez la valeur du paramètre hive.metastore.uri pour qu'elle corresponde à la valeur hive.metastore.uri du service Trino de votre cluster de données.

4. Enregistrez la configuration.

   1. Dans le coin supérieur droit, cliquez sur Save.

   2. Dans la boîte de dialogue Confirm, configurez les paramètres et cliquez sur OK.

5. Déployez la configuration du client.

   1. Dans le coin supérieur droit, cliquez sur Deploy Client Configuration.

   2. Dans la boîte de dialogue Execute Cluster Operation, configurez les paramètres et cliquez sur OK.

   3. Dans la boîte de dialogue Confirm, cliquez sur OK.

6. Redémarrez le service Trino. Pour plus d'informations, consultez la section Procédure.

7. Configurez les hôtes.

   Important

   Ignorer cette étape si toutes les données à interroger sont stockées dans Object Storage Service (OSS) ou si un emplacement est spécifié dans l'instruction de création de la table.

   Pour permettre à Trino de lire les données des tables sur le cluster de données, configurez les informations d'hôte sur chaque nœud du cluster Trino.

   • Méthode 1 (recommandée) : Dans la console EMR, ajoutez un script de cluster ou une action d'amorçage pour configurer l'hôte. Pour plus d'informations, consultez les sections Exécuter manuellement un script ou Gérer les actions d'amorçage.

   • Méthode 2 : Modifiez directement le fichier hosts en suivant les étapes ci-dessous :

     1. Obtenez l'adresse IP interne du nœud maître dans le cluster de données. Dans la console E-MapReduce, accédez à la page Nodes. Dans la ligne du groupe de nœuds maîtres, cliquez sur l'icône pour afficher l'adresse IP interne du nœud.

     2. Connectez-vous au cluster de données. Pour plus d'informations, consultez la section Se connecter à un cluster.

     3. Exécutez la commande hostname pour obtenir le nom d'hôte.

        Exemples de formats de nom d'hôte :

        • Cluster Hadoop : emr-header-1.cluster-26****.

        • Autres types de clusters : master-1-1.c-f613970e8c****.

     4. Connectez-vous au cluster Trino. Pour plus d'informations, consultez la section Se connecter à un cluster.

     5. Exécutez la commande suivante pour modifier le fichier hosts :

        vim /etc/hosts

     6. Ajoutez le contenu suivant à la dernière ligne du fichier hosts.

        Ajoutez l'adresse IP interne et le nom d'hôte du nœud maître du cluster de données au fichier /etc/hosts sur chaque hôte du cluster Trino.

        • Cluster Hadoop

          192.168.**.** emr-header-1.cluster-26****

        • Autres types de clusters

          192.168.**.** master-1-1.c-f613970e8c****

Configurer les métadonnées du data lake

Si les métadonnées de la table utilisent DLF Unified Metadata, une configuration supplémentaire est requise pour les connecteurs tels que Hive, Iceberg et Hudi. Dans ce scénario, Trino accède directement aux métadonnées DLF sous le même compte, de sorte que les requêtes ne dépendent plus du cluster de données et la valeur hive.metastore.uri est ignorée.

Exemple : Interrogation des données d'une table

1. Connectez-vous à Trino à l'aide de commandes. Pour plus d'informations, consultez la section Accéder à Trino à l'aide de commandes.

2. Exécutez la commande suivante pour interroger la table test_hive :

   select * from hive.default.test_hive;