DataWorks:Créer un nœud CDH Hive

Prérequis

• Un workflow est créé dans DataStudio.

  Dans DataStudio, les tâches de développement sont organisées en workflows. Créez un workflow avant de créer un nœud. Pour plus d'informations, consultez la rubrique Créer un workflow.

• Un cluster CDH est créé et enregistré dans votre espace de travail DataWorks.

  Enregistrez votre cluster CDH dans un espace de travail DataWorks avant de créer des nœuds et des tâches CDH. Pour plus d'informations, consultez la rubrique Associer une ressource de calcul CDH dans l'ancienne version de DataStudio.

• (Facultatif) Si vous utilisez un utilisateur RAM, ajoutez-le à l'espace de travail et attribuez-lui le rôle Development ou Workspace Administrator . Le rôle Workspace Administrator dispose d'autorisations étendues ; attribuez-le avec précaution. Pour plus d'informations sur l'ajout de membres, consultez la rubrique Ajouter des membres à un espace de travail.

• Un groupe de ressources serverless est acheté et configuré. La configuration inclut la liaison du groupe de ressources à votre espace de travail et la configuration du réseau. Pour plus d'informations, consultez la rubrique Utiliser un groupe de ressources serverless.

Limites

Les tâches CDH Hive peuvent s'exécuter sur un groupe de ressources serverless ou sur un ancien groupe de ressources exclusif pour la planification. Nous recommandons l'utilisation d'un groupe de ressources serverless.

Étape 1 : Créer un nœud CDH Hive

1. Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur Data Development and O&M > Data Development dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Data Development.

2. Cliquez avec le bouton droit sur un workflow et choisissez Create Node > cdh > CDH Hive.

   Remarque

   Vous pouvez également survoler le bouton New en haut de la page et suivre les instructions pour créer un nœud CDH.

3. Dans la boîte de dialogue Create Node , saisissez un Name pour le nœud et cliquez sur OK .

Étape 2 : Développer une tâche Hive

Double-cliquez sur le nœud créé pour ouvrir la page de développement de la tâche.

SHOW tables;
SELECT * FROM userinfo ;

SELECT '${var}'; -- This is an example of using a scheduling parameter.

Étape 3 : Configurer la planification de la tâche

Pour exécuter la tâche selon une planification récurrente, cliquez sur Scheduling dans le volet de droite pour configurer ses propriétés de planification :

• Configurez les propriétés de base de la planification. Pour plus d'informations, consultez la rubrique Configurer les propriétés de base.

• Configurez le cycle de planification, les propriétés de nouvelle exécution et les dépendances. Pour plus d'informations, consultez les rubriques Configurer les propriétés temporelles et Configurer les dépendances de planification dans le même cycle.

  Remarque

  Configurez les propriétés Rerun attribute et spécifiez les Parent Nodes avant de valider le nœud.

• Configurez les propriétés des ressources. Pour plus d'informations, consultez la rubrique Configurer les propriétés des ressources. Si la tâche doit accéder à Internet public ou à un VPC, sélectionnez un groupe de ressources de planification disposant de la connectivité réseau nécessaire. Pour plus d'informations, consultez la rubrique Solutions de connectivité réseau.

Étape 4 : Déboguer le code

1. (Facultatif) Sélectionnez un groupe de ressources d'exécution et attribuez des valeurs aux paramètres personnalisés.

   • Dans la barre d'outils, cliquez sur l'icône . Dans la boîte de dialogue Parameter , sélectionnez le groupe de ressources à utiliser pour le débogage.

   • Si le code de votre tâche utilise des paramètres de planification, attribuez-leur des valeurs ici pour le débogage. Pour plus d'informations sur la logique d'attribution des valeurs, consultez la rubrique Quelle est la différence de logique d'attribution des valeurs entre Exécuter, Exécution avancée et les tests de fumée dans l'environnement de développement ?.

2. Enregistrez et exécutez les instructions SQL.

   Dans la barre d'outils, cliquez sur l'icône pour enregistrer les instructions SQL, puis cliquez sur l'icône pour exécuter la tâche.

3. (Facultatif) Effectuez des tests de fumée.

   Pour exécuter des tests de fumée dans l'environnement de développement, faites-le lors du processus de validation ou après avoir validé le nœud. Pour plus d'informations, consultez la rubrique Effectuer des tests de fumée.

Étapes suivantes

1. Validez et déployez la tâche.

   1. Dans la barre d'outils, cliquez sur l'icône pour enregistrer le nœud.

   2. Dans la barre d'outils, cliquez sur l'icône pour valider la tâche.

   3. Dans la boîte de dialogue Commit Node , saisissez une Change Description .

   4. Cliquez sur Determine .

   Dans un espace de travail en mode standard, déployez la tâche dans l'environnement de production après l'avoir validée. Dans la barre de menu supérieure, cliquez sur Deploy . Pour plus d'informations, consultez la rubrique Déployer des tâches.

2. Consultez les tâches planifiées.

   1. Dans le coin supérieur droit de l'éditeur, cliquez sur O&M Personnel pour ouvrir le centre d'opérations de l'environnement de production.

   2. Consultez les tâches planifiées en cours d'exécution. Pour plus d'informations, consultez la rubrique Gérer les tâches planifiées.

   Pour afficher plus de détails sur les tâches planifiées, cliquez sur Operation Center dans la barre de menu supérieure. Pour plus d'informations, consultez la rubrique Présentation du centre d'opérations.