DataWorks:SQL ClickHouse

Prérequis

• Un workflow a été créé.

  DataStudio organise le développement par workflow. Créez un workflow avant de créer un nœud. Pour plus d'informations, consultez la rubrique Créer un workflow.

• Un cluster EMR ClickHouse ou un cluster ClickHouse auto-géré a été créé et les préparatifs requis sont terminés.

  Préparez EMR et DataWorks en fonction de votre type de moteur.

  • DataLake : pour plus d'informations, consultez les rubriques Configurer un cluster EMR DataLake et Configurer DataWorks.

  • Hadoop : consultez la rubrique Préparatifs pour le développement sur cluster Hadoop.

• Vous avez associé une ressource de calcul ClickHouse à l'espace de travail.

  Ajoutez votre base de données ClickHouse à DataWorks en tant que ressource de calcul ClickHouse et associez-la à DataStudio afin d'accéder aux données ClickHouse pour le développement.

• Un groupe de ressources serverless a été acheté et associé au VPC où se trouve le cluster ClickHouse. Pour plus d'informations, consultez la rubrique Utiliser un groupe de ressources serverless.

  Remarque

  Pour exécuter les tâches des nœuds SQL ClickHouse, utilisez un groupe de ressources serverless (recommandé) ou un groupe de ressources exclusif pour la planification.

Étape 1 : Créer un nœud SQL ClickHouse

1. Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur Data Development and O&M > Data Development dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Data Development.

2. Cliquez avec le bouton droit sur le workflow cible et choisissez Create Node > CLICKHOUSE > ClickHouse SQL.

3. Dans la boîte de dialogue Create Node , saisissez un Name pour le nœud et cliquez sur OK. Une fois le nœud créé, développez et configurez la tâche dans l'éditeur de nœud.

Étape 2 : Développer une tâche SQL ClickHouse

CREATE DATABASE if not EXISTS ck_test;
CREATE TABLE if not EXISTS  ck_test.first_table  (
`product_code` String,
`package_name` String
) ENGINE = MergeTree ORDER BY package_name SETTINGS index_granularity = 8192;
INSERT INTO ck_test.first_table (product_code, package_name) VALUES ('1', '1');
SELECT * FROM ck_test.first_table;

Étape 3 : Configurer la planification

Pour exécuter la tâche périodiquement, cliquez sur Scheduling à droite de la page de l'éditeur de nœud et configurez ses propriétés de planification. Pour plus d'informations, consultez la rubrique Vue d'ensemble de la configuration des propriétés de planification des tâches.

Étape 5 : Valider et déployer

Validez et déployez le nœud afin que la tâche s'exécute périodiquement selon votre configuration de planification.

1. Cliquez sur l'icône dans la barre d'outils pour enregistrer le nœud.

2. Cliquez sur l'icône dans la barre d'outils pour valider la tâche du nœud.

   Dans la boîte de dialogue Submission , saisissez une Change Description et indiquez si vous souhaitez effectuer une revue de code après la validation du nœud.

   Remarque

   • Définissez la propriété Rerun attribute et spécifiez les Parent Nodes avant de valider le nœud.

   • La revue de code permet de garantir la qualité du code et de prévenir les erreurs dans l'environnement de production. Si vous activez la fonctionnalité de revue de code, le code validé ne peut être déployé qu'après avoir passé la revue avec succès. Pour plus d'informations, consultez la rubrique Revue de code.

Si vous utilisez un espace de travail en mode standard, cliquez sur Deploy dans le coin supérieur droit de la page de l'éditeur de nœud pour déployer la tâche dans l'environnement de production après sa validation. Pour plus d'informations, consultez la rubrique Déployer des tâches.

Étapes suivantes

Après le déploiement, la tâche s'exécute selon la planification. Pour consulter son statut de planification, cliquez sur O&M Personnel dans le coin supérieur droit de la page de l'éditeur de nœud. Pour plus d'informations, consultez la rubrique Gérer les tâches périodiques.