全部产品
Search
文档中心

开源大数据平台E-MapReduce:创建ClickHouse集群

更新时间:Aug 23, 2023

本文为您介绍创建ClickHouse集群的详细操作步骤和相关配置。

背景信息

机型、内存和磁盘的设置,请参见Usage Recommendations

前提条件

已在目标地域创建一个专有网络和交换机,详情请参见创建和管理专有网络创建和管理交换机

操作步骤

  1. 进入创建集群页面。

    1. 登录EMR on ECS

    2. 可选:在顶部菜单栏处,根据实际情况选择地域和资源组。

      • 地域:创建的集群将会在对应的地域内,一旦创建不能修改。

      • 资源组:默认显示账号全部资源。

    3. 单击上方的创建集群,进行创建。

  2. 配置集群信息。

    创建集群时,您需要对集群进行软件配置、硬件配置、基础配置和确认订单。

    重要

    集群创建完成后,除了集群名称以外,其他配置均无法修改,所以在创建时请仔细确认各项配置。

    1. 软件配置。

      配置项

      说明

      地域

      创建的集群将会在对应的地域内,一旦创建不能修改。

      业务场景

      选择数据分析场景。

      产品版本

      默认最新的软件版本。

      服务高可用

      默认关闭。

      可选服务

      需要选择ClickHouse

      重要
      • EMR-5.11.0及后续版本、EMR-3.45.0及后续版本的集群,选择ClickHouse服务,默认会选择Zookeeper服务。

      • EMR-5.8.0(包含)至EMR-5.10.1(包含)版本的集群,如果只选择ClickHouse服务,则集群会使用内置的ClickHouse Keeper来替换额外的ZooKeeper,但是内置的ClickHouse Keeper性能与Zookeeper存在一定的差异,因此建议您选择上Zookeeper服务。

      • EMR-3.42.0至EMR-3.44.1(包含)版本的集群:

        • 如果打开了服务高可用开关,选择ClickHouse服务时,默认会选择Zookeeper服务。

        • 如果未打开服务高可用开关,选择ClickHouse服务时,不会自动选择Zookeeper服务,但此时的ClickHouse没有DDL的能力,因此建议您选择上Zookeeper服务。

      高级设置

      软件自定义配置:可指定JSON文件对集群中的基础软件进行配置,详细使用方法请参见配置自定义软件。默认不开启。

    2. 硬件配置。

      配置项

      说明

      付费类型

      默认包年包月。当前支持的付费类型如下:

      • 按量付费:一种后付费模式,即先使用再付费。按量付费是根据实际使用的小时数来支付费用,每小时计费一次,适合短期的测试任务或是灵活的动态任务。

      • 包年包月:一种预付费模式,即先付费再使用。

        说明

        建议测试场景下使用按量付费,测试正常后再新建一个包年包月的生产集群正式使用。

      可用区

      可用区为在同一地域下的不同物理区域,可用区之间内网互通。通常使用默认的可用区即可。

      专有网络

      如果没有可用的VPC,单击创建VPC前往新建。

      交换机

      选择在对应VPC下可用区的交换机,如果在这个可用区没有可用的交换机,则需要新创建一个。

      默认安全组

      默认选择已有的安全组。安全组详情请参见安全组概述

      您也可以单击新建安全组来新建一个安全组。

      重要

      禁止使用ECS上创建的企业安全组。

      节点组

      您可以根据需要选择实例规格,详情请参见实例规格族

      • 系统盘:根据需要选择ESSD云盘、SSD云盘或者高效云盘。

      • 系统盘大小:根据需要调整磁盘容量,默认为80 GB。取值范围为80 ~ 5000 GB。

      • 数据盘:根据需要选择ESSD云盘、SSD云盘或者高效云盘。

      • 数据盘大小:根据需要调整磁盘容量,默认为80 GB。取值范围为40 ~ 32768 GB。

      • 实例数量

        • 关闭服务高可用开关:默认1台Master,1台Core。

        • 开启服务高可用开关:默认3台Master,3台Core。

      • 挂载公网:集群是否挂载弹性公网IP地址,默认不开启。

        说明

        创建后如果您需要使用公网IP地址访问,请在ECS上申请开通公网IP地址,详情请参见弹性公网IP中的申请EIP的内容。

    3. 基础配置。

      配置项

      说明

      集群名称

      集群的名字,长度限制为1~64个字符,仅可使用中文、字母、数字、短划线(-)和下划线(_)。

      身份凭证

      密钥对(默认):使用SSH密钥对登录Linux实例。

      关于密钥对的使用详情,请参见SSH密钥对

      密码:设置Master节点的登录密码,使用密码对登录Linux实例。

      密码规则:8~30个字符,且必须同时包含大写字母、小写字母、数字和特殊字符。

      特殊字符包括:感叹号(!)、at(@)、井号(#)、美元符号($)、百分号(%)、乘方(^)、and(&)和星号(*)。

      应用配置

      配置ClickHouse的副本(Replica)与分片(Shard)。

      高级设置

      • ECS应用角色:当您的程序在EMR计算节点上运行时,可不填写阿里云AccessKey来访问相关的云服务(例如OSS),EMR会自动申请一个临时AccessKey来授权本次访问。ECS应用角色用于控制这个AccessKey的权限。

      • 引导操作:可选配置,您可以在集群启动Hadoop前执行您自定义的脚本,详情请参见管理引导操作

      • 资源组:可选配置。详情请参见使用资源组

  3. 当所有的信息确认正确后,选中服务协议,单击确认订单

    重要
    • 按量付费集群:立刻开始创建。

      集群创建完成后,集群的状态变为运行中

    • 包年包月集群:先生成订单,支付完成订单以后集群才会开始创建。