您可以创建ClickHouse SQL节点,实现分布式SQL查询引擎处理结构化数据,提高作业的执行效率。本文为您介绍如何创建ClickHouse SQL节点并进行数据开发。
前提条件
- 您已创建EMR ClickHouse或数据库ClickHouse集群,且完成相关准备工作。EMR引擎类型包括新版数据湖(DataLake)及Hadoop,不同类型引擎创建节点前需执行的准备工作不同。您需要根据实际情况完成EMR侧及DataWorks侧的准备工作。
- 所使用的DataWorks工作空间添加了ClickHouse计算引擎,详情请参见创建并管理工作空间。
说明 DataWorks工作空间添加了ClickHouse计算引擎后,数据开发页面才会显示ClickHouse目录。
- 已开通独享调度资源组,并且独享调度资源组需要绑定ClickHouse集群所在的VPC专有网络,详情请参见新增和使用独享调度资源组。
使用限制
仅支持使用独享调度资源组运行ClickHouse SQL节点任务。
操作步骤
- 进入数据开发页面。
- 登录DataWorks控制台。
- 在左侧导航栏,单击工作空间列表。
- 选择工作空间所在地域后,单击相应工作空间后的数据开发。
- 鼠标悬停至
图标,单击。您也可以找到相应的业务流程,右键单击ClickHouse,选择。
- 在新建节点对话框中,输入节点名称,并选择目标文件夹。
- 单击提交。
- 在节点编辑页面进行数据开发。
您可以根据业务需求,在节点编辑页面执行SQL任务。示例运行的任务代码如下。
CREATE DATABASE if not EXISTS ck_test;
CREATE TABLE if not EXISTS ck_test.first_table (
`product_code` String,
`package_name` String
) ENGINE = MergeTree ORDER BY package_name SETTINGS index_granularity = 8192;
insert into ck_test.first_table (product_code, package_name) VALUES ('1', '1');
select * from ck_test.first_table;
- 保存并提交节点。
重要 您需要设置节点的重跑属性和依赖的上游节点,才可以提交节点。
- 单击工具栏中的
图标,保存节点。
- 单击工具栏中的
图标。
- 在提交新版本对话框中,输入变更描述。
- 单击确认。
如果您使用的是标准模式的工作空间,提交成功后,请单击右上方的
发布。具体操作请参见
发布任务。
- 任务运维,详情请参见周期任务基本运维操作。