通過建立EMR(E-MapReduce) StarRocks SQL節點,實現基於EMR Serverless StarRocks計算資源的分布式SQL查詢引擎處理結構化資料,提高作業的執行效率。
適用範圍
計算資源限制:僅支援EMR Serverless StarRocks計算資源,需確保資源群組和計算資源網路連通。
資源群組限制:僅支援使用Serverless資源群組運行該類型任務。
(可選,RAM帳號需要)進行任務開發的RAM帳號已被添加至對應工作空間中,並具有開發或空間管理員(許可權較大,謹慎添加)角色許可權,新增成員的操作詳情請參見為工作空間增加空間成員。
如果您使用的是主帳號,則可忽略該添加操作。
建立節點
建立入口參考:建立節點。
開發節點
在SQL編輯地區開發工作單位代碼,您可在代碼中使用${變數名}的方式定義變數,並在節點編輯頁面右側調度配置的調度參數中為該變數賦值。實現調度情境下代碼的動態傳參,調度參數使用詳情,請參考調度參數來源及其運算式,樣本如下。
SHOW TABLES;
-- 通過${var}定義名為var的變數,若將該變數賦值${yyyymmdd},可實現建立以業務日期作為尾碼的表。
CREATE TABLE IF NOT EXISTS userinfo_new_${var} (
ip STRING COMMENT'IP地址',
uid STRING COMMENT'使用者ID'
)PARTITIONED BY(
dt STRING
); --可以結合調度參數使用。說明
SQL語句最大不能超過130KB。
調試節點
配置調試屬性。
在節點右側回合組態中配置計算資源和資源群組,具體參數資訊如下。
參數名稱
描述
計算資源
選擇綁定的EMR Serverless StarRocks計算資源。若無可用計算資源,可在下拉框中選擇建立計算資源。
重要需確保計算資源和資源群組網路連通,更多資訊請參見網路連通方案。
資源群組
選擇綁定計算資源時已通過測試連通性的資源群組。
指令碼參數
在配置節點內容時,通過
${參數名}的方式定義變數,需要在指令碼參數處配置參數名、參數值資訊,任務運行時會將它動態替換為真實的取值。詳情請參見調度參數來源及其運算式。調試運行節點。
執行節點任務,您需單擊儲存並運行節點任務。
表徵圖喚起發布流程,通過該流程將任務發布至生產環境。專案目錄下的節點只有在發布至生產環境後,才會進行周期性調度。