通過DataWorks的Serverless Kyuubi節點,可基於EMR Serverless Spark計算資源進行Kyuubi任務的開發和周期性調度,以及與其他作業的整合操作。
適用範圍
計算資源限制:僅支援綁定EMR Serverless Spark計算資源,需確保資源群組和計算資源網路連通。
資源群組限制:僅支援使用Serverless資源群組運行該類型任務。
(可選,RAM帳號需要)進行任務開發的RAM帳號已被添加至對應工作空間中,並具有開發或空間管理員(許可權較大,謹慎添加)角色許可權,新增成員的操作詳情請參見為工作空間增加空間成員。
如果您使用的是主帳號,則可忽略該添加操作。
建立節點
建立入口參考:建立節點。
開發節點
在SQL編輯地區開發工作單位代碼。在代碼中使用${變數名}的方式定義變數,並在節點編輯頁面右側調度配置的調度參數中為該變數賦值。實現調度情境下代碼的動態傳參,調度參數使用詳情,請參考調度參數來源及其運算式,樣本如下。
SHOW TABLES;
SELECT * FROM kyuubi040702 WHERE age >= '${a}'; --可以結合調度參數使用。SQL語句最大不能超過130KB。
調試節點
在回合組態選擇配置計算資源、資源群組等。
配置項
說明
計算資源
選擇已綁定的EMR Serverless Spark計算資源,計算資源需綁定EMR Serverless Spark計算資源。若無可用計算資源,可在下拉框中選擇建立計算資源。
資源群組
選擇已綁定工作空間的資源群組。
指令碼參數
在配置節點內容時,通過
${參數名}的方式定義變數,需要在指令碼參數處配置參數名、參數值資訊,任務運行時會將它動態替換為真實的取值。詳情請參見調度參數來源及其運算式。ServerlessSpark節點參數
Spark內建屬性參數,請參見開源Spark屬性參數、Spark Conf自訂參數列表。配置格式如下:
spark.eventLog.enabled : false。說明DataWorks支援您設定全域Spark參數,即按照工作空間粒度指定DataWorks各模組使用的Spark參數,您可自行指定該全域Spark參數的優先順序是否高於指定模組內的Spark參數。關於設定全域Spark參數,詳情請參見設定全域Spark參數。
在節點編輯頁面上方工具列,單擊運行任務。
重要發布前,需將回合組態的ServerlessSpark節點參數同步至調度配置的ServerlessSpark節點參數處。
表徵圖喚起發布流程,通過該流程將任務發布至生產環境。專案目錄下的節點只有在發布至生產環境後,才會進行周期性調度。