您可以创建ClickHouse SQL节点,实现分布式SQL查询引擎处理结构化数据,提高作业的执行效率。本文为您介绍如何创建ClickHouse SQL节点并进行数据开发。

前提条件

  • 您已创建EMR ClickHouse或数据库ClickHouse集群,且集群所在的安全组中入方向的安全策略包含以下策略。
    • 授权策略:允许
    • 协议类型:自定义 TCP
    • 端口范围:8898/8898
    • 授权对象:100.104.0.0/16
  • 所使用的DataWorks工作空间添加了ClickHouse计算引擎,详情请参见配置工作空间
    说明 DataWorks工作空间添加了ClickHouse计算引擎后,数据开发页面才会显示ClickHouse目录。
  • 已开通独享调度资源组,并且独享调度资源组需要绑定ClickHouse集群所在的VPC专有网络,详情请参见新增和使用独享调度资源组

使用限制

仅支持使用独享调度资源组运行ClickHouse SQL节点任务。

操作步骤

  1. 进入数据开发页面。
    1. 登录DataWorks控制台
    2. 在左侧导航栏,单击工作空间列表
    3. 选择工作空间所在地域后,单击相应工作空间后的进入数据开发
  2. 鼠标悬停至新建图标,单击ClickHouse > Click SQL
    您也可以找到相应的业务流程,右键单击ClickHouse,选择新建 > Click SQL
  3. 新建节点对话框中,输入节点名称,并选择目标文件夹
    说明 节点名称必须是大小写字母、中文、数字、下划线(_)和小数点(.),且不能超过128个字符。
  4. 单击提交
  5. 在节点编辑页面进行数据开发。
    您可以根据业务需求,在节点编辑页面执行SQL任务。示例运行的任务代码如下。
    CREATE DATABASE if not EXISTS ck_test;
    CREATE TABLE if not EXISTS  ck_test.first_table  (
    `product_code` String,
    `package_name` String
    ) ENGINE = MergeTree ORDER BY package_name SETTINGS index_granularity = 8192;
    insert into ck_test.first_table (product_code, package_name) VALUES ('1', '1');
    select * from ck_test.first_table;
  6. 保存并提交节点。
    注意 您需要设置节点的重跑属性依赖的上游节点,才可以提交节点。
    1. 单击工具栏中的保存图标,保存节点。
    2. 单击工具栏中的提交图标。
    3. 提交新版本对话框中,输入变更描述
    4. 单击确认
    如果您使用的是标准模式的工作空间,提交成功后,请单击右上方的发布。具体操作请参见发布任务
  7. 测试节点,详情请参见查看周期任务