Créer un nœud CDH Spark SQL - DataWorks - Centre de documentation Alibaba Cloud

Les nœuds CDH Spark SQL utilisent un moteur de requête SQL distribué pour traiter les données structurées, ce qui améliore l'efficacité d'exécution des jobs. Développez, planifiez de manière récurrente et intégrez des tâches CDH Spark SQL avec d'autres types de tâches dans DataWorks.

Prérequis

Un workflow a été créé dans DataStudio.

Dans DataStudio, les tâches de développement sont organisées en workflows. Créez un workflow avant de créer un nœud. Pour plus d'informations, consultez la rubrique Créer un workflow.
Un cluster CDH a été créé et enregistré dans votre espace de travail DataWorks.

Enregistrez votre cluster CDH dans un espace de travail DataWorks avant de créer des nœuds et des tâches CDH. Pour plus d'informations, consultez la rubrique Lier une ressource de calcul CDH dans l'ancienne version de DataStudio.
Un groupe de ressources serverless a été acheté et configuré. Les configurations incluent l'association à un espace de travail et la configuration réseau. Pour plus d'informations, consultez la rubrique Créer et utiliser un groupe de ressources serverless.

Limites

Les tâches CDH Spark SQL peuvent s'exécuter sur des groupes de ressources serverless ou sur d'anciens groupes de ressources exclusifs. Nous vous recommandons d'utiliser des groupes de ressources serverless.

Étape 1 : Créer un nœud CDH Spark SQL

Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur Data Development and O&M > Data Development dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Data Development.
Cliquez avec le bouton droit sur le workflow cible et choisissez Create Node > CDH > CDH Spark SQL.
Dans la boîte de dialogue Create Node , saisissez un Name pour le nœud et cliquez sur OK. L'éditeur de nœud s'ouvre, vous permettant de développer et de configurer la tâche.

Étape 2 : Développer une tâche CDH Spark SQL

(Facultatif) Sélectionner un cluster CDH

Si plusieurs clusters Cloudera's Distribution including Apache Hadoop (CDH) sont enregistrés dans l'espace de travail actuel, sélectionnez-en un dans la liste déroulante Engine Instance CDH. Si un seul cluster CDH est enregistré, il est automatiquement utilisé pour le développement.

Dans la liste déroulante CDH engine instance , sélectionnez le cluster cible. Si vous devez accéder à un domaine protégé par une liste d'autorisation d'adresses IP, utilisez un groupe de ressources exclusif pour la planification.

Développer le code SQL

Développer le code SQL : Exemple simple

Rédigez le code de la tâche dans l'éditeur de code de l'onglet de configuration du nœud CDH Spark SQL.

L'exemple suivant crée les tables test_lineage_table_f1 et test_lineage_table_t2 dans la base de données test_spark et copie les données de test_lineage_table_f1 vers test_lineage_table_t2. Exemple de code :

Remarque

Cet exemple est fourni à titre indicatif uniquement. Rédigez le code en fonction de vos besoins métier.

CREATE TABLE IF NOT EXISTS test_spark.test_lineage_table_f1 (`id` BIGINT, `name` STRING)
PARTITIONED BY (`ds` STRING);
CREATE TABLE IF NOT EXISTS test_spark.test_lineage_table_t2 AS SELECT * FROM test_spark.test_lineage_table_f1;
INSERT into test_spark.test_lineage_table_t2 SELECT * FROM test_spark.test_lineage_table_f1;

Développer le code SQL : Utiliser des paramètres de planification

DataWorks propose des Scheduling Parameter qui vous permettent de transmettre dynamiquement des valeurs aux variables de votre code pour les tâches planifiées. Définissez des variables dans le code de votre tâche en utilisant le format ${variable_name}. Dans le volet de navigation de droite de la page de l'éditeur de nœud, accédez à Scheduling Settings > Scheduling Parameter pour attribuer une valeur à la variable. Pour plus d'informations sur les formats pris en charge et la configuration, consultez les rubriques Formats pris en charge des paramètres de planification et Configurer et utiliser des paramètres de planification.

Exemple de code :

SELECT '${var}'; -- You can assign a specific scheduling parameter to the var variable.

(Facultatif) Configurer des paramètres avancés

Sur la page de l'éditeur de nœud CDH Spark SQL, cliquez sur Advanced Settings dans le volet de navigation de droite pour configurer les paramètres d'exécution de la tâche. Par exemple :

"spark.driver.memory": "2g" : spécifie la mémoire allouée au nœud pilote Spark.
"spark.yarn.queue": "haha" : spécifie la file d'attente YARN à laquelle l'application est soumise.

Pour plus d'informations sur les paramètres avancés, consultez la documentation Spark Configuration.

Étape 3 : Configurer la planification des tâches

Pour exécuter périodiquement la tâche du nœud, cliquez sur Scheduling à droite de la page d'édition du nœud et configurez les paramètres de planification selon vos besoins. Pour plus d'informations, consultez la rubrique Aperçu des propriétés de planification des tâches.

Remarque

Configurez l'Rerun attribute du nœud et les Parent Nodes avant de soumettre le nœud.

Étape 4 : Tester le code de la tâche

Effectuez les opérations de test suivantes selon vos besoins pour vérifier que la tâche se comporte comme prévu.

(Facultatif) Sélectionnez un groupe de ressources et attribuez des valeurs de paramètre personnalisées.
- Cliquez sur l'icône dans la barre d'outils. Dans la boîte de dialogue Parameter , sélectionnez le groupe de ressources de planification pour les tests.
- Si le code de votre tâche utilise des variables de paramètre de planification, attribuez-leur des valeurs ici pour les tests. Pour plus d'informations sur la logique d'attribution des paramètres, consultez la rubrique Processus de débogage des tâches.
Enregistrez et exécutez le code de la tâche.

Cliquez sur l'icône dans la barre d'outils pour enregistrer le code de votre tâche. Cliquez ensuite sur l'icône pour exécuter la tâche.
(Facultatif) Effectuez des tests de validation.

Pour exécuter des tests de validation dans l'environnement de développement et vérifier que la tâche de nœud planifiée s'exécute comme prévu, effectuez ces tests pendant ou après la soumission du nœud. Pour plus d'informations, consultez la rubrique Effectuer des tests de validation.

Étape 5 : Soumettre et publier la tâche

Après avoir configuré la tâche du nœud, soumettez-la et publiez-la. Une fois publiée, le nœud s'exécute périodiquement en fonction de sa configuration de planification.

Cliquez sur l'icône dans la barre d'outils pour enregistrer le nœud.
Cliquez sur l'icône dans la barre d'outils pour soumettre la tâche du nœud.

Dans la boîte de dialogue Submission , saisissez une Change Description . Vous pouvez également choisir si une revue de code est requise après la soumission.
Remarque
- Configurez l'Rerun attribute du nœud et les Parent Nodes avant de soumettre le nœud.
- La revue de code permet de garantir la qualité du code et d'éviter les erreurs causées par la publication directe de code non revu en production. Si la revue de code est activée, le code du nœud soumis doit être approuvé par les réviseurs avant de pouvoir être publié. Pour plus d'informations, consultez la rubrique Revue de code.

Si vous utilisez un espace de travail en mode standard, après avoir soumis la tâche avec succès, cliquez sur Publish dans le coin supérieur droit de la page d'édition du nœud pour déployer la tâche dans l'environnement de production. Pour plus d'informations, consultez la rubrique Publier une tâche.

Étapes suivantes

O&M des tâches : Après la soumission et la publication d'une tâche, elle s'exécute périodiquement en fonction de la configuration du nœud. Cliquez sur O&M dans le coin supérieur droit de la page d'édition du nœud pour accéder à Operation Center et afficher l'état de la planification et de l'exécution. Pour plus d'informations, consultez la rubrique Gérer les tâches périodiques.
Afficher les lignages : Après avoir validé et déployé la tâche, vous pouvez afficher ses lignages de données sur la page Data Map — par exemple, retracer la source des données d'origine ou voir vers quelles bases de données les données de la table sont acheminées. Pour plus d'informations, consultez la rubrique Afficher les lignages.