DataWorks:Data Studio (hérité) : Enregistrer un cluster EMR

Contexte

E-MapReduce (EMR) est une solution open source de traitement du Big Data qui s'exécute sur Alibaba Cloud.

S'appuyant sur Apache Hadoop et Apache Spark, EMR vous permet d'analyser et de traiter des données grâce à leurs écosystèmes respectifs. EMR peut également échanger des données avec d'autres services Alibaba Cloud, tels que Object Storage Service (OSS) et ApsaraDB RDS. EMR est disponible sur ECS, sur ACK et en tant qu'offre serverless.

La configuration optimale du cluster varie selon le composant utilisé. Avant de configurer un cluster EMR, consultez les recommandations de configuration de cluster EMR et choisissez une configuration répondant à vos besoins.

Limites

• Autorisations : Seuls les utilisateurs RAM ou les rôles RAM disposant des identités suivantes peuvent enregistrer un cluster EMR. Pour accorder ces autorisations, consultez la section Accorder des autorisations à un utilisateur RAM.

  • Un compte Alibaba Cloud.

  • Un utilisateur RAM ou un rôle RAM doté du rôle Administrateur d'espace de travail DataWorks et de la stratégie AliyunEMRFullAccess.

  • Un utilisateur RAM ou un rôle RAM disposant des stratégies AliyunDataWorksFullAccess et AliyunEMRFullAccess.

• Région : EMR Serverless Spark est disponible uniquement dans les régions Chine (Hangzhou), Chine (Shanghai), Chine (Pékin), Chine (Shenzhen), Chine (Chengdu), Chine (Hong Kong), Japon (Tokyo), Singapour, Indonésie (Jakarta), Allemagne (Francfort) et États-Unis (Virginie).

• Type de tâche : DataWorks ne prend pas en charge les tâches EMR Flink.

• Exécution des tâches : DataWorks prend en charge l'exécution des tâches EMR à l'aide de groupes de ressources serverless (recommandé) ou des groupes de ressources exclusifs hérités pour l'ordonnancement.

• Gouvernance des données :

  • Seules les tâches SQL sur les nœuds EMR Hive, EMR Spark et EMR Spark SQL prennent en charge la génération de la lignée des données. Pour les clusters de version 5.9.1 ou 3.43.1 et ultérieure, ces nœuds prennent en charge la lignée des données au niveau de la table et de la colonne.

    Remarque

    Pour les nœuds Spark, la lignée des données au niveau de la table et de la colonne est prise en charge sur les clusters EMR de version 5.8.0 ou 3.42.0 et ultérieure. Sur les versions antérieures, seul Spark 2.x prend en charge la lignée des données au niveau de la table.

  • Pour gérer les métadonnées d'un cluster DataLake ou personnalisé dans DataWorks, vous devez d'abord configurer EMR-HOOK sur le cluster. Sans cette configuration, DataWorks ne peut pas afficher les métadonnées en temps réel, générer des journaux d'audit ni afficher la lignée des données. Actuellement, EMR-HOOK est pris en charge uniquement pour les services EMR Hive et EMR Spark SQL. Pour plus d'informations, consultez les rubriques Configurer EMR-HOOK pour Hive et Configurer EMR-HOOK pour Spark SQL.

• Pour les clusters EMR avec authentification Kerberos activée, vous devez ajouter une règle entrante au groupe de sécurité afin d'autoriser l'accès UDP depuis le bloc CIDR du vSwitch associé au groupe de ressources.

  Remarque

  Cliquez sur l'icône correspondant à Cluster Security Group dans l'onglet Basic information du cluster EMR pour accéder à la page Security Group Details. Dans l'onglet Access Rules, cliquez sur Inbound, puis sur Added Manually. Définissez Protocol Type sur Custom UDP. Pour Port Range, saisissez le port KDC spécifié dans le fichier /etc/krb5.conf du cluster EMR. Définissez Authorized object sur le bloc CIDR du vSwitch associé au groupe de ressources.

Remarques d'utilisation

• Pour isoler les environnements de développement et de production d'un espace de travail DataWorks en mode standard, vous devez enregistrer deux clusters EMR distincts : un pour l'environnement de développement et un pour l'environnement de production. Les métadonnées de ces clusters doivent être stockées selon l'une des méthodes suivantes :

  • Méthode 1 (recommandée pour les solutions de lac de données) : Stockez les métadonnées dans deux catalogues différents dans Data Lake Formation (DLF). Pour plus d'informations, consultez la rubrique Changer le type de stockage des métadonnées.

  • Méthode 2 : Stockez les métadonnées dans deux bases de données différentes dans RDS. Pour plus d'informations, consultez la rubrique Configurer une instance RDS autogérée.

• Un cluster EMR peut être enregistré dans plusieurs espaces de travail au sein du même compte Alibaba Cloud, mais pas entre différents comptes.

• Afin de garantir l'accès d'un groupe de ressources DataWorks à un cluster EMR, si la connexion échoue malgré l'association du groupe de ressources au même VPC et au même vSwitch que le cluster EMR, vérifiez les règles du groupe de sécurité du cluster. Ajoutez des règles entrantes pour le bloc CIDR du vSwitch et les ports des composants open source courants. Pour plus d'informations, consultez la rubrique Gérer les groupes de sécurité d'un cluster EMR.

Étape 1 : Accéder à la page d'enregistrement du cluster

1. Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur More > Management Center dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Management Center.

2. Dans le volet de navigation de gauche, cliquez sur Clusters. Sur la page Clusters, cliquez sur Register Cluster et définissez Select Cluster Type sur E-MapReduce.

Étape 2 : Enregistrer un cluster EMR

Sur la page Register EMR Cluster, configurez les informations relatives au cluster.

• Display Name of Cluster : Saisissez un nom d'affichage unique pour le cluster.

• Alibaba Cloud Account To Which Cluster Belongs : Sélectionnez le compte propriétaire du cluster EMR.

  Remarque

  Les clusters EMR Serverless Spark ne peuvent pas être enregistrés entre différents comptes.

Configurez les paramètres en fonction du type de compte sélectionné.

Étape 3 : Initialiser un groupe de ressources

Initialisez le groupe de ressources après avoir enregistré un cluster pour la première fois, modifié les configurations des services du cluster ou mis à niveau la version d'un composant (par exemple, en modifiant core-site.xml). Cela garantit que le groupe de ressources peut accéder au cluster EMR et que les tâches s'exécutent avec la configuration actuelle.

1. Sur la page Open Source Clusters, sélectionnez l'onglet correspondant au cluster EMR enregistré et cliquez sur Initialize Resource Group.

2. Localisez le groupe de ressources requis et cliquez sur Initialize dans la colonne Actions.

   Vous pouvez initialiser un groupe de ressources serverless ou un groupe de ressources exclusif hérité pour l'ordonnancement.

3. Attendez 1 à 2 minutes que l'initialisation se termine, puis cliquez sur OK.

Étapes suivantes

• Développement de données : Suivez le guide du flux de travail de développement de données pour configurer les environnements des composants.

• Configurer les mappages d'identités de cluster : Si l'identité d'accès par défaut du cluster EMR n'est pas le compte hadoop, vous devez configurer les mappages d'identités pour contrôler les ressources auxquelles les utilisateurs RAM peuvent accéder dans DataWorks afin de gérer les autorisations.

• Définir les files d'attente de ressources YARN globales : Utilisez les mappages de files d'attente de ressources YARN pour spécifier la file d'attente YARN utilisée par chaque module. Vous pouvez également configurer ces paramètres pour remplacer les configurations individuelles des modules.

• Définir les paramètres Spark globaux : Personnalisez les paramètres Spark globaux en vous basant sur la documentation officielle de Spark. Vous pouvez également spécifier si les paramètres au niveau de l'espace de travail remplacent les configurations spécifiques aux modules pour les paramètres portant le même nom.

• Définir les informations de connexion Kyuubi : Pour utiliser un compte et un mot de passe personnalisés pour les tâches Kyuubi, personnalisez les informations de connexion comme décrit dans cette rubrique.