DataWorks:Créer un nœud CDH Impala

Prérequis

Vous avez créé un cluster CDH et l'avez enregistré auprès de DataWorks.

Avant de créer des nœuds CDH et de développer des tâches CDH, enregistrez votre cluster CDH auprès d'un espace de travail DataWorks. Pour plus d'informations, consultez la rubrique Lier une ressource de calcul CDH dans l'ancienne version de DataStudio.

Limites

Les tâches CDH Hive peuvent s'exécuter sur un groupe de ressources serverless ou sur un ancien groupe de ressources exclusif pour la planification. L'utilisation d'un groupe de ressources serverless est recommandée.

Étape 1 : Créer un nœud CDH Impala

1. Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur Data Development and O&M > Data Development dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Data Development.

2. Cliquez avec le bouton droit sur un workflow et choisissez Create Node > CDH > CDH Impala.

   Remarque

   Vous pouvez également survoler le bouton New en haut de la page et suivre les instructions affichées à l'écran pour créer un nœud CDH.

3. Dans la boîte de dialogue Create Node, saisissez un Name pour le nœud et cliquez sur OK.

Étape 2 : Développer une tâche Impala

Double-cliquez sur le nœud créé pour ouvrir la page de développement de la tâche.

SHOW tables;
SELECT * FROM userinfo ;

SELECT '${var}'; -- Use with scheduling parameters.

Étape 3 : Configurer la planification des tâches

Si vous devez exécuter la tâche selon une planification récurrente, cliquez sur Scheduling dans le volet de droite pour configurer ses propriétés de planification :

• Configurez les propriétés de planification de base. Pour plus d'informations, consultez la rubrique Configurer les propriétés de base.

• Définissez le cycle de planification, les propriétés de réexécution et les dépendances. Pour plus d'informations, consultez les rubriques Configurer les propriétés temporelles et Configurer les dépendances de planification au sein du même cycle.

  Remarque

  Vous devez configurer les propriétés Rerun attribute et spécifier les Parent Nodes avant de valider le nœud.

• Configurez les propriétés des ressources. Pour plus d'informations, consultez la rubrique Configurer les propriétés des ressources. Si la tâche doit accéder à Internet public ou à un VPC, vous devez sélectionner un groupe de ressources de planification disposant de la connectivité réseau nécessaire. Pour plus d'informations, consultez la rubrique Solutions de connectivité réseau.

Étape 4 : Déboguer le code

1. (Facultatif) Sélectionnez un groupe de ressources d'exécution et attribuez des valeurs aux paramètres personnalisés.

   • Dans la barre d'outils, cliquez sur l'icône . Dans la boîte de dialogue Parameter, sélectionnez le groupe de ressources à utiliser pour le débogage.

   • Si le code de votre tâche utilise des paramètres de planification, attribuez-leur des valeurs ici pour le débogage. Pour plus d'informations sur la logique d'attribution des valeurs, consultez la rubrique Quelle est la différence de logique d'attribution des valeurs entre Exécuter, Exécution avancée et les tests de fumée dans l'environnement de développement ?.

2. Enregistrez et exécutez les instructions SQL.

   Dans la barre d'outils, cliquez sur l'icône pour enregistrer les instructions SQL, puis cliquez sur l'icône pour exécuter la tâche.

3. (Facultatif) Effectuez des tests de fumée.

   Pour effectuer des tests de fumée dans l'environnement de développement, vous pouvez le faire lors du processus de validation ou après avoir validé le nœud. Pour plus d'informations, consultez la rubrique Effectuer des tests de fumée.

Étapes suivantes

1. Validez et déployez la tâche.

   1. Dans la barre d'outils, cliquez sur l'icône pour enregistrer le nœud.

   2. Dans la barre d'outils, cliquez sur l'icône pour valider la tâche.

   3. Dans la boîte de dialogue Commit Node, saisissez une Change Description.

   4. Cliquez sur Determine.

   Dans un espace de travail en mode standard, vous devez déployer la tâche dans l'environnement de production après l'avoir validée. Dans la barre de menu supérieure, cliquez sur Deploy. Pour plus d'informations, consultez la rubrique Déployer des tâches.

2. Consultez les tâches planifiées.

   1. Dans le coin supérieur droit de l'éditeur, cliquez sur O&M Personnel pour ouvrir le centre d'opérations de l'environnement de production.

   2. Consultez les tâches planifiées en cours d'exécution. Pour plus d'informations, consultez la rubrique Gérer les tâches planifiées.

   Pour afficher plus de détails sur les tâches planifiées, cliquez sur Operation Center dans la barre de menu supérieure. Pour plus d'informations, consultez la rubrique Présentation du centre d'opérations.