本文為您介紹建立StarRocks叢集的詳細操作步驟和相關配置。
前提條件
操作步驟
-
進入建立叢集頁面。
-
可選:在頂部功能表列處,根據實際情況選擇地區和資源群組。
-
地區:建立的叢集將會在對應的地區內,一旦建立不能修改。
-
資源群組:預設顯示帳號全部資源。
-
-
單擊上方的创建集群,進行建立。
-
配置叢集資訊。
建立叢集時,您需要對叢集進行軟體配置、硬體設定和基礎配置。
重要叢集建立完成後,除了叢集名稱以外,其他配置均無法修改,所以在建立時請仔細確認各項配置。
-
軟體配置。
配置項
樣本
描述
地域
華東1(杭州)
建立的叢集將會在對應的地區內,一旦建立不能修改。
业务场景
資料分析情境
選擇数据分析。
产品版本
EMR-5.19.0
預設最新的軟體版本。
服务高可用
關閉
預設關閉。開啟後叢集會有三個Master節點來支援ResourceManager和NameNode的高可用。 您也可以修改節點數量。
可选服务
Starrocks3
根據您的實際需求選擇其他的一些組件,被選中的組件會預設啟動相關的服務進程。
允许采集服务运行日志
開啟
支援一鍵開啟或關閉所有服務的日誌採集。預設開啟,將收集您的服務作業記錄,這些日誌僅供叢集診斷使用。
叢集建立後,您可以在基础信息頁面,修改服务运行日志收集状态。
重要關閉日誌採集後,EMR的健全狀態檢查和支援人員將受到限制,但其他功能仍可正常使用。如何關閉及影響詳情,請參見如何停止採集服務日誌?。
StarRocks 架构类型
存算一體
僅Starrocks3支援配置該參數。
支援存算一體和存算分離的儲存架構。
-
存算一体 (預設):計算資源和儲存資源緊密結合,資料直接儲存在計算節點的本地磁碟上。
適合需要即時處理和快速查詢的OLAP情境,比如資料分析和BI報表產生。
-
存算分離 :計算資源與儲存資源完全解耦,計算節點專註於執行查詢任務,而資料則儲存在外部分布式儲存系統中。提升了系統的靈活性和可靠性。
適合處理大規模資料存放區和支援彈性計算需求。
DLF统一元数据
勾選
預設勾選,表示中繼資料存放區在資料湖構建DLF中。
開通DLF後,系統會為您選擇預設的DLF 数据目录,預設為UID。如果針對不同叢集您期望使用不同的資料目錄,則可以按照以下方式建立目錄。
-
單擊创建数据目录,在彈出的對話方塊中輸入目錄ID,單擊确定。
-
在DLF 数据目录下拉式清單中,選擇您建立的資料目錄。
高级设置
不開啟
软件自定义配置:可指定JSON檔案對叢集中的基礎軟體(例如Hadoop、Spark和Hive等)進行配置。預設不開啟。
-
-
硬體設定。
配置項
樣本
描述
付费类型
隨用隨付
預設訂用帳戶。當前支援的付費類型如下:
-
按量付费:一種後付費模式,即先使用再付費。隨用隨付是根據實際使用的小時數來支付費用,每小時計費一次,適合短期的測試工作或是靈活的動態任務。
-
包年包月:一種預付費模式,即先付費再使用。
說明建議測試情境下使用按量付费,測試正常後再建立一個包年包月的生產叢集正式使用。
可用区
華東1(杭州) 可用性區域 I
可用性區域為在同一地區下的不同物理地區,可用性區域之間內網互連。通常使用預設的可用性區域即可。
专有网络
starrocks_test/vpc-bp1f4epmkvncimpgs****
預設選擇已有的專用網路。
如需建立新的專用網路,請在專用網路控制台新建立一個,詳情請參見建立和管理專用網路。
交换机
vsw_test/vsw-bp1e2f5fhaplp0g6p****
選擇在對應VPC下可用性區域的交換器,如果在這個可用性區域沒有可用的交換器,則需要在專用網路控制台新建立一個,詳情請參見建立和管理交換器。
默认安全组
sg-bp1ddw7sm2risw****/sg-bp1ddw7sm2risw****
預設選擇已有的安全性群組。安全性群組詳情請參見安全性群組概述。
您也可以單擊新建安全组,在ECS控制台建立一個安全性群組,詳情請參見建立安全性群組。
重要禁止使用ECS上建立的企業安全性群組。
节点组
使用預設值
您可以根據需要選擇執行個體規格,詳情請參見執行個體規格類型系列。
-
Master:主要負責ResourceManager和NameNode等控制進程的部署。
-
Core:主要負責叢集所有資料的儲存,建立叢集完成後也支援按需進行擴容。
-
Task:不儲存資料,調整叢集的計算力使用。預設不開啟,需要時可自訂配置。
重要Task節點群組支援的付費類型有隨用隨付、搶佔式執行個體和訂用帳戶。
-
加入部署集:開啟高可用後,Master預設加入部署集。部署集是控制執行個體分布的策略,詳情請參見部署集。
-
系统盘:根據需要選擇SSD雲端硬碟、ESSD雲端硬碟或者高效雲端硬碟。系統硬碟大小請根據需要調整。
-
数据盘:根據需要選擇SSD雲端硬碟、ESSD雲端硬碟或者高效雲端硬碟。資料盤大小請根據需要調整。
說明當您選擇ESSD雲端硬碟時,可以根據所選雲端硬碟的容量大小來設定不同的效能層級(PL層級),以滿足不同的叢集效能需求。預設的效能層級為PL1。根據云盤的容量範圍,系統硬碟支援PL0、PL1和PL2三個效能層級的雲端硬碟規格,資料盤支援PL0、PL1、PL2和PL3四個效能層級的雲端硬碟規格。雲端硬碟的詳細資料,請參見雲端硬碟概述。
-
实例数量:Master節點群組預設1台。如果開啟高可用,可以有多台Master執行個體。
Core節點群組預設2台,您可以根據需要調整。
-
附加安全组:附加安全性群組可以靈活定製不同的外部資源或應用程式之間的訪問。您最多可以為該節點群組關聯2個附加安全性群組。
-
挂载公网:叢集是否掛載Elastic IP Address地址,預設不開啟。僅DataLake叢集支援節點群組層級掛載公網。
說明如果您未開啟該功能,建立後您想使用公網IP地址訪問,請在ECS上申請開通公網IP地址,詳情請參見申請EIP。
-
-
基礎配置。
在基础信息地區,配置如下參數。
配置項
樣本
描述
集群名称
Emr-StarRocks
叢集的名字,長度限制為1~64個字元,僅可使用中文、字母、數字、短劃線(-)和底線(_)。
身份凭证
自訂密碼
密钥对(預設):使用SSH金鑰組登入Linux執行個體。
關於金鑰組的使用詳情,請參見SSH金鑰組。
密码:設定Master節點的登入密碼,使用密碼對登入Linux執行個體。
密碼規則:8~30個字元,且必須同時包含大寫字母、小寫字母、數字和特殊字元。
特殊字元包括:驚嘆號(!)、at(@)、井號(#)、貨幣符號($)、百分比符號(%)、乘方(^)、and(&)和星號(*)。
-
-
(可選)保存为集群模板:如果身份認證選擇的密钥对,則可以單擊保存为集群模板,儲存當前叢集的配置資訊為叢集模板。
-
單擊确认订单。
建立叢集後可以通過重新整理頁面來查看進度,當叢集状态顯示為运行中時,表示叢集建立成功。