DataWorks:Créer un nœud EMR Trino

Prérequis

• Un cluster Alibaba Cloud EMR est créé et enregistré dans votre espace de travail DataWorks.

  Avant de créer des nœuds liés à EMR, enregistrez le cluster EMR dans votre espace de travail DataWorks. Pour plus d'informations, consultez Lier les ressources de calcul EMR dans DataStudio hérité.

• (Facultatif, pour les utilisateurs RAM) L'utilisateur RAM chargé du développement des tâches a été ajouté à l'espace de travail et s'est vu attribuer le rôle Development ou Workspace Administrator. Le rôle Workspace Administrator dispose d'autorisations étendues et doit être attribué avec prudence. Pour plus d'informations, consultez Ajouter des membres à un espace de travail.

• Un groupe de ressources serverless est acheté et configuré, notamment en liant le groupe de ressources à un espace de travail et en configurant le réseau. Pour plus d'informations, consultez Utiliser un groupe de ressources serverless.

• Un flux de travail est créé dans DataStudio.

  DataStudio organise les opérations de développement par flux de travail. Créez un flux de travail avant de créer un nœud. Pour plus d'informations, consultez Créer un flux de travail.

Limites

• Ce type de tâche s'exécute uniquement sur un groupe de ressources serverless.

• Pour gérer les métadonnées des clusters DataLake ou personnalisés dans DataWorks, configurez EMR-HOOK sur le cluster. Sans EMR-HOOK, vous ne pouvez pas afficher les métadonnées en temps réel, générer des journaux d'audit, afficher la lignée des données ni effectuer des tâches de gouvernance liées à EMR dans DataWorks. Pour plus d'informations, consultez Configurer EMR-HOOK pour Hive.

• Si l'authentification LDAP (Lightweight Directory Access Protocol) est activée pour Trino, connectez-vous au nœud maître du cluster EMR et téléchargez le fichier keystore depuis le répertoire /etc/taihao-apps/trino-conf. Connectez-vous à la console DataWorks. Dans le volet de navigation de gauche, cliquez sur More > Management Center. Sélectionnez l'espace de travail cible dans la liste déroulante et cliquez sur Go to Management Center. Dans le volet de navigation de gauche, cliquez sur Cluster Management. Recherchez le cluster EMR enregistré. Sous l'onglet Account Mappings, cliquez sur Edit Account Mappings, puis sur Upload Keystore File pour charger le fichier.

(Facultatif) Sélectionner une instance de cluster EMR

Si plusieurs clusters EMR sont enregistrés dans votre espace de travail, sélectionnez le cluster approprié dans la liste déroulante en haut de la page de l'éditeur de nœuds. Si un seul cluster EMR est enregistré, DataWorks le sélectionne par défaut.

Pour accéder aux domaines disposant d'une liste blanche d'adresses IP, vous devez utiliser un groupe de ressources de planification dédié.

Configuration du connecteur

• Avant d'interroger les tables MySQL, configurez le connecteur EMR Trino intégré. Pour plus d'informations, consultez Connecteur MySQL.

• Avant d'interroger les tables Hive, configurez le connecteur EMR Trino intégré. Pour plus d'informations, consultez Connecteur Hive.

• Pour interroger les tables d'autres sources de données, consultez Configurer les connecteurs pour obtenir des instructions sur la configuration des connecteurs intégrés.

Modifier le code SQL

Saisissez le code de la tâche dans l'éditeur SQL. Exemple :

-- Usage
-- SELECT * FROM <catalog>.<schema>.<table>;
-- Parameter description
-- <catalog>: the name of the data source to connect to.
-- <schema>: the name of the database to use.
-- <table>: the table to query.
-- Example: To view data in the hive_table table in the default database of a Hive data source:
-- Query a Hive table
SELECT * FROM hive.default.hive_table;
-- Example: To view data in the rt_user table in the user-created rt_data database of a MySQL data source:
-- Query a MySQL table  
SELECT * FROM mysql.rt_data.rt_user;
-- Join a Hive table and a MySQL table
SELECT DISTINCT a.id, a.name,b.rt_name FROM hive.default.hive_table a INNER JOIN mysql.rt_data.rt_user b ON a.id = b.id;
-- Query a Hive table using a scheduling parameter
SELECT * FROM hive.default.${table_name};

Exécuter la tâche SQL

1. Dans la barre d'outils, cliquez sur l'icône . Dans la boîte de dialogue Parameter, sélectionnez un groupe de ressources de planification et cliquez sur Running.

   Remarque

   • Pour accéder aux ressources de calcul via Internet public ou dans un VPC, utilisez un groupe de ressources de planification capable de se connecter aux ressources de calcul. Pour plus d'informations, consultez Solutions de connectivité réseau.

   • Pour modifier le groupe de ressources pour les exécutions ultérieures, cliquez sur l'icône Running with Parameters et sélectionnez le groupe de ressources souhaité.

   • Les requêtes sur les nœuds EMR Trino retournent un maximum de 10 000 enregistrements et la taille totale des données ne peut pas dépasser 10 Mo.

2. Cliquez sur l'icône pour enregistrer le code SQL.

(Facultatif) Configurer les paramètres avancés

Pour ajuster la manière dont les instructions SQL sont exécutées, cliquez sur Advanced Settings dans le volet de navigation de droite.