Dataphin支援使用StarRocks作為Dataphin的離線計算引擎,為Dataphin專案提供處理離線計算任務的能力。本文為您介紹如何建立StarRocks計算源。
背景資訊
StarRocks是一款高效能分析資料庫,支援即時、多維和高度並發的資料分析。StarRocks具有高度可擴充性、可用性且易於維護。它在OLAP情境提供多種支援,例如即時分析、即席查詢、資料湖分析等。更多詳情可參考StarRocks官網。
許可權說明
除標籤業務員和業務成員外的所有系統角色以及擁有叢集-查看許可權的自訂全域角色,可查看每個叢集的詳細資料。
超級管理員、系統管理員以及擁有叢集-管理許可權的自訂全域角色,可建立和管理StarRocks叢集。同時,這些使用者可設定在建立StarRocks計算源時可引用該叢集的使用者,以及為該叢集指定叢集管理員。
支援叢集管理員對自己負責的叢集進行管理。
超級管理員、系統管理員以及擁有計算源管理-建立自訂全域角色的使用者,可建立StarRocks計算源,同時支援選擇引用自己有使用許可權的StarRocks叢集。
操作步驟
在Dataphin首頁的頂部功能表列中,選擇規劃 > 計算源。
在計算源頁面,單擊新增計算源,選擇StarRocks計算源。
在建立StarRocks計算源頁面中,配置以下參數。
引用指定叢集配置
參數
描述
計算源基本資料
計算類型
選擇為StarRocks。
計算源名稱
計算源名稱支援中文、英文、數字、底線(_)和短劃線(-)。
配置方式
選擇引用指定叢集後,在下拉式清單中可選擇目前使用者有引用許可權的叢集,單擊查看跳轉至查看StarRocks頁面,可查看叢集詳細資料。若無所需叢集可單擊配置叢集,跳轉至建立StarRocks叢集頁面中,建立叢集。
說明叢集資訊變更會同步更新當前計算源。
計算源描述
填寫計算源的簡單描述,不超過128個字元。
配置
JDBC URL
預設為所選StarRocks叢集中配置的JDBC URL,不支援修改。
Catalog
可選擇Default Catalog或External Catalog。
Default Catalog:用於管理StarRocks中的內部資料。
External Catalog:支援從該叢集下所有的外部Catalog中選擇,或手動輸入Catalog。
DataBase
可選擇所選Catalog下的所有DataBase,同時支援輸入DataBase。
認證使用者
可選擇與叢集一致或自訂,預設為與叢集一致。當選擇自訂時,還需輸入鑒權使用者名稱和密碼,為保證任務正常執行,請確保使用者有所需資料許可權。
任務資源群組
StarRocks可通過資源群組進行資源的隔離,並通過分類器將任務匹配到資源群組。Datpahin支援為不同優先順序的任務指定資源群組名稱,在任務運行時自動化佈建任務的資源群組從而達到不同任務的資源分派和隔離。
採用預設執行使用者:使用所選叢集中配置的預設執行使用者。
自訂:包含最高優先順序、高優先順序、中優先順序、低優先順序和最低優先順序五種優先順序,每個優先順序均需輸入資源群組名稱。
單獨配置
參數
描述
計算源基本資料
計算類型
選擇為StarRocks。
計算源名稱
計算源名稱支援中文、英文、數字、底線(_)和短劃線(-)。
配置方式
選擇單獨配置。
計算源描述
填寫計算源的簡單描述,不超過128個字元。
配置
JDBC URL
填寫JDBC URL,支援以下兩種格式:
jdbc:mysql:loadbalance://{fe1-host}:{port},{fe2-host}:{port},{fe3-host}:{port}/{database}jdbc:mysql://{host}:{port}/database?key1=value1&key2=value2
Catalog
僅支援選擇Defalut catalog。如需建立來自於External catalog的計算源,配置方式請選擇引用指定叢集。
FE節點URL
FE節點的串連地址,多個地址間使用英文逗號(,)間隔,例如
fe_host1:http_port01,fe_host02:http_port02。使用者名稱
填寫StarRocks計算引擎資料庫的登入使用者名稱和密碼,為保證任務正常執行,請確保有所需資料許可權。
密碼
任務資源群組
StarRocks可通過資源群組進行資源的隔離,並通過分類器將任務匹配到資源群組。Datpahin支援為不同優先順序的任務指定資源群組名稱,在任務運行時自動化佈建任務的資源群組從而達到不同任務的資源分派和隔離。
採用預設執行使用者:使用上述配置中的預設執行使用者。
自訂:包含最高優先順序、高優先順序、中優先順序、低優先順序和最低優先順序五種優先順序。每個優先順序均需輸入資源群組。
單擊測試連接,測試連接的計算源。
測試成功後,單擊提交。
完成建立StarRocks計算源後,即可為專案綁定StarRocks計算源,詳情請參見管理專案空間的許可權和計算源。
後續步驟
完成建立StarRocks計算源後,即可為專案綁定StarRocks計算源。具體操作,請參見建立通用專案。