DataWorks:Créer un nœud CDH MR

Prérequis

• Un workflow est créé dans DataStudio.

  Dans DataStudio, les tâches de développement sont organisées en workflows. Vous devez créer un workflow avant de créer un nœud. Pour plus d'informations, consultez la rubrique Créer un workflow.

• Un cluster CDH est créé et enregistré dans votre espace de travail DataWorks.

  Vous devez enregistrer votre cluster CDH dans un espace de travail DataWorks avant de créer des nœuds et des tâches CDH. Pour plus d'informations, consultez la rubrique Lier une ressource de calcul CDH dans l'ancienne version de DataStudio.

• (Facultatif) Si vous utilisez un utilisateur RAM, ajoutez-le à l'espace de travail et attribuez-lui le rôle Development ou Workspace Administrator. Le rôle Workspace Administrator dispose d'autorisations étendues ; attribuez-le avec prudence. Pour plus d'informations sur l'ajout de membres, consultez la rubrique Ajouter des membres à un espace de travail.

• Un groupe de ressources serverless est acheté et configuré. La configuration inclut la liaison du groupe de ressources à votre espace de travail et la configuration du réseau. Pour plus d'informations, consultez la rubrique Utiliser un groupe de ressources serverless.

Limites

Les tâches CDH Hive peuvent s'exécuter sur un groupe de ressources serverless ou sur un ancien groupe de ressources exclusif pour la planification. L'utilisation d'un groupe de ressources serverless est recommandée.

Étape 1 : Créer un nœud CDH MR

1. Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur Data Development and O&M > Data Development dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Data Development.

2. Cliquez avec le bouton droit sur un workflow et choisissez Create Node > cdh > CDH MR.

3. Dans la boîte de dialogue Create Node, configurez l'instance de moteur, le chemin d'accès et le nom du nœud.

4. Cliquez sur OK. L'éditeur de nœud s'ouvre pour vous permettre de développer et de configurer la tâche.

Étape 2 : Créer et référencer une ressource CDH JAR

Téléchargez des ressources depuis votre machine locale vers DataStudio, puis référencez-les dans vos nœuds.

1. Créez une ressource CDH JAR.

   Dans le workflow correspondant, cliquez avec le bouton droit sur cdh > Resources et choisissez Create Resource > CDH JAR. Dans la boîte de dialogue Create Resource, cliquez sur Click Upload et sélectionnez le fichier à télécharger.

   Dans la boîte de dialogue, le Storage path est par défaut défini sur /user/admin/lib. Si l'authentification Kerberos est activée, accordez des autorisations d'écriture à l'utilisateur actuel sur ce répertoire. Le package JAR téléchargé ne doit pas dépasser 50 Mo et son Name doit se terminer par le suffixe .jar.

2. Référencez la ressource CDH JAR.

   1. Ouvrez le nœud CDH MR créé pour accéder à sa page d'édition.

   2. Sous cdh > Resources, recherchez la ressource à référencer (par exemple, onaliyun_mr_wordcount-1.0-SNAPSHOT.jar). Cliquez avec le bouton droit sur le nom de la ressource et choisissez Insert Resource Path.

      La sélection de l'option Insert Resource Path ajoute une instruction au format ##@resource_reference{""} dans l'éditeur de code, indiquant que la ressource est référencée. La commande suivante en est un exemple. Remplacez le package de ressource, le nom du bucket et le chemin d'accès par vos informations réelles.

      ##@resource_reference{"onaliyun_mr_wordcount-1.0-SNAPSHOT.jar"}
      onaliyun_mr_wordcount-1.0-SNAPSHOT.jar cn.apache.hadoop.onaliyun.examples.EmrWordCount oss://onaliyun-bucket-2/cdh/datas/wordcount02/inputs oss://onaliyun-bucket-2/cdh/datas/wordcount02/outputs

      Remarque

      Les commentaires ne sont pas pris en charge dans l'éditeur de code pour les nœuds CDH MR.

Étape 3 : Configurer la planification des tâches

Pour exécuter la tâche selon une planification récurrente, cliquez sur Scheduling dans le volet de droite afin de configurer ses propriétés de planification :

• Configurez les propriétés de planification de base. Pour plus d'informations, consultez la rubrique Configurer les propriétés de base.

• Configurez le cycle de planification, les propriétés de réexécution et les dépendances. Pour plus d'informations, consultez les rubriques Configurer les propriétés temporelles et Configurer les dépendances de planification intra-cycle.

  Remarque

  Vous devez configurer les propriétés Rerun attribute et spécifier les Parent Nodes avant de valider le nœud.

• Configurez les propriétés des ressources. Pour plus d'informations, consultez la rubrique Configurer les propriétés des ressources. Si la tâche doit accéder à Internet public ou à un VPC, sélectionnez un groupe de ressources de planification disposant de la connectivité réseau nécessaire. Pour plus d'informations, consultez la rubrique Solutions de connectivité réseau.

Étape 4 : Déboguer le code

1. (Facultatif) Sélectionnez un groupe de ressources d'exécution et attribuez des valeurs aux paramètres personnalisés.

   • Dans la barre d'outils, cliquez sur l'icône . Dans la boîte de dialogue Parameter, sélectionnez le groupe de ressources à utiliser pour le débogage.

   • Si le code de votre tâche utilise des paramètres de planification, attribuez-leur des valeurs ici pour le débogage. Pour plus d'informations sur la logique d'attribution des valeurs, consultez la rubrique Quelle est la différence de logique d'attribution des valeurs entre Exécuter, Exécution avancée et les tests de fumée dans l'environnement de développement ?.

2. Enregistrez et exécutez les instructions SQL.

   Dans la barre d'outils, cliquez sur l'icône pour enregistrer les instructions SQL, puis cliquez sur l'icône pour exécuter la tâche.

3. (Facultatif) Effectuez des tests de fumée.

   Pour exécuter des tests de fumée dans l'environnement de développement, faites-le lors du processus de validation ou après avoir validé le nœud. Pour plus d'informations, consultez la rubrique Effectuer des tests de fumée.

Étapes suivantes

1. Validez et déployez la tâche.

   1. Dans la barre d'outils, cliquez sur l'icône pour enregistrer le nœud.

   2. Dans la barre d'outils, cliquez sur l'icône pour valider la tâche.

   3. Dans la boîte de dialogue Commit Node, saisissez une Change Description.

   4. Cliquez sur Determine.

   Dans un espace de travail en mode standard, vous devez déployer la tâche dans l'environnement de production après l'avoir validée. Dans la barre de menu supérieure, cliquez sur Deploy. Pour plus d'informations, consultez la rubrique Déployer des tâches.

2. Consultez les tâches planifiées.

   1. Dans le coin supérieur droit de l'éditeur, cliquez sur O&M Personnel pour ouvrir le Operation Center de l'environnement de production.

   2. Consultez les tâches planifiées en cours d'exécution. Pour plus d'informations, consultez la rubrique Gérer les tâches planifiées.

   Pour afficher plus de détails sur les tâches planifiées, cliquez sur Operation Center dans la barre de menu supérieure. Pour plus d'informations, consultez la rubrique Présentation du Operation Center.