DataWorks:SQL ClickHouse

Prérequis

• Les moteurs EMR se déclinent en deux types : DataLake et Hadoop. Chaque type impose des préparatifs distincts avant la création d'un nœud. Adaptez votre configuration dans EMR et DataWorks selon votre scénario.

  • DataLake : pour plus d'informations, consultez les rubriques Configurer un cluster DataLake et Configurer DataWorks.

  • Hadoop : reportez-vous à la section Préparer un cluster Hadoop pour le développement.

• Vous avez créé une source de données ClickHouse et l'avez associée à un espace de travail.

  Pour exploiter les données ClickHouse lors du développement, créez une source de données ClickHouse dans DataWorks et liez-la à Data Studio. Consultez la rubrique Associer une ressource de calcul ClickHouse pour connaître la procédure.

• Vous avez créé un nœud SQL ClickHouse. Pour en savoir plus, consultez la rubrique Créer un nœud de workflow planifié.

Procédure

1. Sur la page d'édition du nœud SQL ClickHouse, procédez comme suit :

   Développer le code SQL

   Saisissez le code de votre tâche dans l'éditeur SQL. Vous pouvez définir des variables au format ${nom_variable}. Attribuez ensuite des valeurs à ces variables via le volet Scheduling Parameters situé dans la section Scheduling Settings à droite. Cette approche permet de transmettre dynamiquement les paramètres lors des exécutions planifiées. Pour approfondir le sujet, consultez la documentation relative aux Sources et expressions des paramètres de planification. Exemple :

   CREATE DATABASE IF NOT EXISTS ck_test;
   CREATE TABLE IF NOT EXISTS  ck_test.first_table  (
   `product_code` String,
   `package_name` String
   ) ENGINE = MergeTree ORDER BY package_name SETTINGS index_granularity = 8192;
   INSERT INTO ck_test.first_table (product_code, package_name) VALUES ('1', ${var});
   SELECT * FROM ck_test.first_table;

   Remarque

   Dans cet exemple, le paramètre ${var} peut recevoir la valeur 1.

   Exécuter la tâche SQL

   1. Dans le volet Run Configuration , configurez les champs Compute Resource et Resource Group.

      1. Pour Computing Resource, sélectionnez le nom du cluster CDH enregistré dans DataWorks.

      2. Pour Resource Group, choisissez un groupe de ressources de planification disposant d'une connexion établie vers la source de données. Reportez-vous aux Solutions de connectivité réseau pour plus de détails.

   2. Dans la barre d'outils, cliquez sur le menu déroulant Select a data source . Dans la boîte de dialogue qui s'affiche, sélectionnez la source de données ClickHouse créée précédemment, puis cliquez sur Run pour lancer l'exécution de la tâche SQL.

2. Pour automatiser l'exécution du nœud, définissez ses propriétés de planification selon vos besoins métier. Consultez la rubrique Configuration de la planification des nœuds pour obtenir des instructions détaillées.

3. Une fois la configuration terminée, déployez le nœud. Pour en savoir plus, consultez la rubrique Déploiement des nœuds et des workflows.

4. Après le déploiement, surveillez l'état d'exécution de la tâche depuis Operation Center. La rubrique Prise en main d'Operation Center vous guidera dans cette démarche.