您可以创建ClickHouse SQL节点,实现分布式SQL查询引擎处理结构化数据,提高作业的执行效率。本文为您介绍如何创建ClickHouse SQL节点并进行数据开发。

前提条件

  • 您已创建EMR ClickHouse或数据库ClickHouse集群,且完成相关准备工作。EMR引擎类型包括新版数据湖(DataLake)及Hadoop,不同类型引擎创建节点前需执行的准备工作不同。您需要根据实际情况完成EMR侧及DataWorks侧的准备工作。
  • 所使用的DataWorks工作空间添加了ClickHouse计算引擎,详情请参见创建并管理工作空间
    说明 DataWorks工作空间添加了ClickHouse计算引擎后,数据开发页面才会显示ClickHouse目录。
  • 已开通独享调度资源组,并且独享调度资源组需要绑定ClickHouse集群所在的VPC专有网络,详情请参见新增和使用独享调度资源组

使用限制

仅支持使用独享调度资源组运行ClickHouse SQL节点任务。

操作步骤

  1. 进入数据开发页面。
    1. 登录DataWorks控制台
    2. 在左侧导航栏,单击工作空间列表
    3. 选择工作空间所在地域后,单击相应工作空间后的数据开发
  2. 鼠标悬停至新建图标,单击ClickHouse > Click SQL
    您也可以找到相应的业务流程,右键单击ClickHouse,选择新建 > Click SQL
  3. 新建节点对话框中,输入节点名称,并选择目标文件夹
  4. 单击提交
  5. 在节点编辑页面进行数据开发。
    您可以根据业务需求,在节点编辑页面执行SQL任务。示例运行的任务代码如下。
    CREATE DATABASE if not EXISTS ck_test;
    CREATE TABLE if not EXISTS  ck_test.first_table  (
    `product_code` String,
    `package_name` String
    ) ENGINE = MergeTree ORDER BY package_name SETTINGS index_granularity = 8192;
    insert into ck_test.first_table (product_code, package_name) VALUES ('1', '1');
    select * from ck_test.first_table;
  6. 保存并提交节点。
    重要 您需要设置节点的重跑属性依赖的上游节点,才可以提交节点。
    1. 单击工具栏中的保存图标,保存节点。
    2. 单击工具栏中的提交图标。
    3. 提交新版本对话框中,输入变更描述
    4. 单击确认
    如果您使用的是标准模式的工作空间,提交成功后,请单击右上方的发布。具体操作请参见发布任务
  7. 任务运维,详情请参见周期任务基本运维操作