DataWorks:Nœud CDH Hive

Prérequis

• Vous avez créé un cluster CDH Alibaba Cloud et l'avez associé à un espace de travail DataWorks. Pour plus d'informations, consultez la rubrique Associer un moteur de calcul CDH.

  Important

  Vous avez installé le composant Hive sur votre cluster CDH et configuré les informations de connexion Hive lors de l'association du cluster.

• (Facultatif, pour les utilisateurs RAM) L'utilisateur RAM chargé du développement des tâches a été ajouté à l'espace de travail correspondant et s'est vu attribuer le rôle Development ou Workspace Administrator. Le rôle Workspace Administrator dispose d'autorisations étendues ; attribuez-le avec prudence. Pour plus d'informations sur l'ajout de membres, consultez la rubrique Ajouter des membres à un espace de travail.

  Remarque

  Si vous utilisez un compte Alibaba Cloud, ignorez cette étape.

• Vous avez configuré une source de données Hive dans DataWorks et vérifié que la source de données a réussi le test de connectivité. Pour plus d'informations, consultez la rubrique Gérer les sources de données.

Limites

Ce type de tâche peut s'exécuter sur des groupes de ressources serverless (recommandés) ou sur des groupes de ressources dédiés hérités pour la planification.

Créer un nœud

Pour obtenir des instructions, consultez la rubrique Créer un nœud.

Développer le nœud

Rédigez le code de votre tâche dans l'éditeur SQL. Vous pouvez définir des variables dans le code en utilisant le format ${nom_variable}. Ensuite, sur le côté droit de la page d'édition du nœud, attribuez une valeur à la variable dans la section Scheduling Parameters du volet Scheduling Settings. Cela permet de transmettre dynamiquement des paramètres à votre code lors de la planification. Pour plus d'informations sur les paramètres de planification, consultez la rubrique Sources et expressions des paramètres de planification. Le code suivant fournit un exemple.

SHOW TABLES; SELECT * FROM userinfo ; -- This can be used with scheduling parameters. SELECT '${var}';

Déboguer le nœud

1. Dans l'onglet Run Configuration, configurez les options Compute Resource et Resource Group dans la section Compute Resource.

   1. Pour Compute Resource, sélectionnez le cluster CDH que vous avez enregistré dans DataWorks.

   2. Pour Resource Group, sélectionnez un groupe de ressources de planification qui a réussi le test de connectivité avec la source de données. Pour plus d'informations, consultez la rubrique Solutions de connectivité réseau.

2. Dans la barre d'outils située en haut de la page d'édition du nœud, cliquez sur Run pour exécuter la tâche.

Étapes suivantes

• Configurer la planification des nœuds : si vous devez exécuter un nœud périodiquement, configurez sa Scheduling Policy dans le panneau Scheduling Settings situé à droite.

• Publier un nœud : pour exécuter une tâche dans l'environnement de production, cliquez sur l'icône afin de publier le nœud. Un nœud ne s'exécute selon la planification qu'après avoir été publié dans l'environnement de production.

• Exploitation et maintenance des tâches : après la publication d'une tâche, surveillez ses exécutions périodiques dans le centre d'opérations. Pour plus d'informations, consultez la rubrique Prise en main du centre d'opérations.