DataWorks:Créer un nœud CDH Presto

Prérequis

• Un workflow a été créé dans DataStudio.

  Dans DataStudio, les tâches de développement sont organisées en workflows. Créez un workflow avant de créer un nœud. Pour plus d'informations, consultez la rubrique Créer un workflow.

• Un cluster CDH a été créé et enregistré dans votre espace de travail DataWorks.

  Enregistrez votre cluster CDH dans un espace de travail DataWorks avant de créer des nœuds et des tâches CDH. Pour plus d'informations, consultez la rubrique Associer une ressource de calcul CDH dans l'ancienne version de DataStudio.

• (Facultatif) Si vous utilisez un utilisateur RAM, ajoutez-le à l'espace de travail et attribuez-lui le rôle Development ou Workspace Administrator. Le rôle Workspace Administrator dispose d'autorisations étendues ; attribuez-le avec prudence. Pour plus d'informations sur l'ajout de membres, consultez la rubrique Ajouter des membres à un espace de travail.

• Un groupe de ressources serverless a été acheté et configuré. La configuration inclut l'association du groupe de ressources à votre espace de travail ainsi que la configuration du réseau. Pour plus d'informations, consultez la rubrique Utiliser un groupe de ressources serverless.

Limites

Les tâches CDH Hive peuvent s'exécuter sur un groupe de ressources serverless ou sur un ancien groupe de ressources exclusif dédié à l'ordonnancement. L'utilisation d'un groupe de ressources serverless est recommandée.

Étape 1 : Créer un nœud CDH Presto

1. Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur Data Development and O&M > Data Development dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Data Development.

2. Cliquez avec le bouton droit sur un workflow et choisissez Create Node > CDH > CDH Presto.

   Remarque

   Vous pouvez également survoler le bouton New en haut de la page et suivre les instructions à l'écran pour créer un nœud CDH.

3. Dans la boîte de dialogue Create Node, saisissez un Name pour le nœud et cliquez sur OK. Vous pouvez ensuite développer et configurer la tâche dans le nouveau nœud.

Étape 2 : Développer une tâche Presto

Double-cliquez sur le nom du nœud pour ouvrir son onglet de configuration, puis développez la tâche comme suit.

show tables;
select * from userinfo ;

select '${var}'; -- You can assign a specific scheduling parameter to the var variable.

Étape 3 : Configurer l'ordonnancement des tâches

Si vous devez exécuter la tâche selon un planning récurrent, cliquez sur Scheduling dans le volet de droite pour configurer ses propriétés d'ordonnancement :

• Configurez les propriétés de base de l'ordonnancement. Pour plus d'informations, consultez la rubrique Configurer les propriétés de base.

• Configurez le cycle d'ordonnancement, les propriétés de réexécution et les dépendances. Pour plus d'informations, consultez les rubriques Configurer les propriétés temporelles et Configurer les dépendances d'ordonnancement intra-cycle.

  Remarque

  Vous devez configurer les propriétés Rerun attribute et spécifier les Parent Nodes avant de valider le nœud.

• Configurez les propriétés des ressources. Pour plus d'informations, consultez la rubrique Configurer les propriétés des ressources. Si la tâche doit accéder à Internet public ou à un VPC, vous devez sélectionner un groupe de ressources d'ordonnancement disposant de la connectivité réseau nécessaire. Pour plus d'informations, consultez la rubrique Solutions de connectivité réseau.

Étape 4 : Déboguer le code

1. (Facultatif) Sélectionnez un groupe de ressources d'exécution et attribuez des valeurs aux paramètres personnalisés.

   • Dans la barre d'outils, cliquez sur l'icône . Dans la boîte de dialogue Parameter, sélectionnez le groupe de ressources à utiliser pour le débogage.

   • Si le code de votre tâche utilise des paramètres d'ordonnancement, attribuez-leur des valeurs ici pour le débogage. Pour plus d'informations sur la logique d'attribution des valeurs, consultez la rubrique Quelle est la différence de logique d'attribution des valeurs entre Exécuter, Exécution avancée et les tests de fumée dans l'environnement de développement ?.

2. Enregistrez et exécutez les instructions SQL.

   Dans la barre d'outils, cliquez sur l'icône pour enregistrer les instructions SQL, puis cliquez sur l'icône pour exécuter la tâche.

3. (Facultatif) Effectuez des tests de fumée.

   Pour exécuter des tests de fumée dans l'environnement de développement, vous pouvez le faire lors du processus de validation ou après avoir validé le nœud. Pour plus d'informations, consultez la rubrique Effectuer des tests de fumée.

Étapes suivantes

1. Validez et déployez la tâche.

   1. Dans la barre d'outils, cliquez sur l'icône pour enregistrer le nœud.

   2. Dans la barre d'outils, cliquez sur l'icône pour valider la tâche.

   3. Dans la boîte de dialogue Commit Node, saisissez une Change Description.

   4. Cliquez sur Determine.

   Dans un espace de travail en mode standard, vous devez déployer la tâche dans l'environnement de production après l'avoir validée. Dans la barre de menu supérieure, cliquez sur Deploy. Pour plus d'informations, consultez la rubrique Déployer des tâches.

2. Consultez les tâches planifiées.

   1. Dans le coin supérieur droit de l'éditeur, cliquez sur O&M Personnel pour ouvrir le Operation Center de l'environnement de production.

   2. Consultez les tâches planifiées en cours d'exécution. Pour plus d'informations, consultez la rubrique Gérer les tâches planifiées.

   Pour afficher plus de détails sur les tâches planifiées, cliquez sur Operation Center dans la barre de menu supérieure. Pour plus d'informations, consultez la rubrique Présentation du Operation Center.