全部產品
Search
文件中心

DataWorks:Serverless Kyuubi節點

更新時間:Feb 05, 2026

通過DataWorks的Serverless Kyuubi節點,可基於EMR Serverless Spark計算資源進行Kyuubi任務的開發和周期性調度,以及與其他作業的整合操作。

適用範圍

  • 計算資源限制:僅支援綁定EMR Serverless Spark計算資源,需確保資源群組和計算資源網路連通。

    資源群組限制:僅支援使用Serverless資源群組運行該類型任務。

  • (可選,RAM帳號需要)進行任務開發的RAM帳號已被添加至對應工作空間中,並具有開發空間管理員(許可權較大,謹慎添加)角色許可權,新增成員的操作詳情請參見為工作空間增加空間成員

    如果您使用的是主帳號,則可忽略該添加操作。

建立節點

建立入口參考:建立節點

開發節點

在SQL編輯地區開發工作單位代碼。在代碼中使用${變數名}的方式定義變數,並在節點編輯頁面右側調度配置調度參數中為該變數賦值。實現調度情境下代碼的動態傳參,調度參數使用詳情,請參考調度參數來源及其運算式,樣本如下。

SHOW TABLES;
SELECT * FROM kyuubi040702 WHERE age >= '${a}'; --可以結合調度參數使用。
說明

SQL語句最大不能超過130KB。

調試節點

  1. 回合組態選擇配置計算資源資源群組等。

    配置項

    說明

    計算資源

    選擇已綁定的EMR Serverless Spark計算資源,計算資源需綁定EMR Serverless Spark計算資源。若無可用計算資源,可在下拉框中選擇建立計算資源

    資源群組

    選擇已綁定工作空間的資源群組。

    指令碼參數

    在配置節點內容時,通過${參數名}的方式定義變數,需要在指令碼參數處配置參數名參數值資訊,任務運行時會將它動態替換為真實的取值。詳情請參見調度參數來源及其運算式

    ServerlessSpark節點參數

    Spark內建屬性參數,請參見開源Spark屬性參數Spark Conf自訂參數列表。配置格式如下: spark.eventLog.enabled : false 

    說明

    DataWorks支援您設定全域Spark參數,即按照工作空間粒度指定DataWorks各模組使用的Spark參數,您可自行指定該全域Spark參數的優先順序是否高於指定模組內的Spark參數。關於設定全域Spark參數,詳情請參見設定全域Spark參數

  2. 在節點編輯頁面上方工具列,單擊運行任務。

    重要

    發布前,需將回合組態ServerlessSpark節點參數同步至調度配置ServerlessSpark節點參數處。

後續步驟

  • 節點調度配置:若專案目錄下的節點需要周期性調度執行,您需要在節點右側的調度配置中設定調度策略,配置相關的調度屬性。

  • 節點發布:若任務需要發布至生產環境執行,請單擊介面image表徵圖喚起發布流程,通過該流程將任務發布至生產環境。專案目錄下的節點只有在發布至生產環境後,才會進行周期性調度。

  • 任務營運:任務發布後,您可以在營運中心查看周期任務的運行情況。詳情請參見營運中心入門