DataWorks：Serverless Spark SQL節點

適用範圍

• 計算資源限制：僅支援綁定EMR Serverless Spark計算資源，需確保資源群組和計算資源網路連通。

• 資源群組限制：僅支援使用Serverless資源群組運行該類型任務。

• （可選，RAM帳號需要）進行任務開發的RAM帳號已被添加至對應工作空間中，並具有開發或空間管理員（許可權較大，謹慎添加）角色許可權，新增成員的操作詳情請參見為工作空間增加空間成員。

  如果您使用的是主帳號，則可忽略該添加操作。

建立節點

建立入口參考：建立節點。

開發節點

在SQL編輯地區開發工作單位代碼，文法支援catalog.database.tablename。若省略catalog，即為叢集預設Catalog；若省略catalog.database，即為叢集預設Catalog的預設資料庫。

Catalog更多資訊，請參見EMR Serverless Spark 管理資料目錄。

-- 需替換 <catalog.database.tablename> 
SELECT * FROM <catalog.database.tablename> 

在代碼中使用${變數名}的方式定義變數，並在節點編輯頁面右側調度配置的調度參數中為該變數賦值。實現調度情境下代碼的動態傳參，調度參數使用詳情，請參考調度參數來源及其運算式，樣本如下。

SHOW TABLES; 
-- 通過${var}定義名為var的變數，若將該變數賦值${yyyymmdd},可通過調度任務實現建立以業務日期作為尾碼的表。
CREATE TABLE IF NOT EXISTS userinfo_new_${var} (
  ip STRING COMMENT'IP地址',
  uid STRING COMMENT'使用者ID'
)PARTITIONED BY(
  dt STRING
); --可以結合調度參數使用。

調試節點

1. 在回合組態選擇配置計算資源和資源群組。

   配置項	說明
   計算資源	選擇已綁定的EMR Serverless Spark計算資源。若無可用計算資源，可在下拉框中選擇建立計算資源。
   資源群組	選擇已綁定工作空間的資源群組。
   指令碼參數	在配置節點內容時，通過${參數名}的方式定義變數，需要在指令碼參數處配置參數名、參數值資訊，任務運行時會將它動態替換為真實的取值。詳情請參見調度參數來源及其運算式。
   ServerlessSpark節點參數	Spark程式運行參數，支援： DataWorks自訂運行參數，請參見附錄：DataWorks參數。 Spark內建屬性參數，請參見開源Spark屬性參數。支援直接從Serverless Spark中載入Spark配置模板，無需手動輸入，從而簡化配置流程並確保一致性。

2. 在節點編輯頁面上方工具列，單擊運行SQL任務。

   重要

   發布前，需將回合組態的ServerlessSpark節點參數同步至調度配置的ServerlessSpark節點參數處。

後續步驟

• 節點調度配置：若專案目錄下的節點需要周期性調度執行，您需要在節點右側的調度配置中設定調度策略，配置相關的調度屬性。

• 節點發布：若任務需要發布至生產環境執行，請單擊介面表徵圖喚起發布流程，通過該流程將任務發布至生產環境。專案目錄下的節點只有在發布至生產環境後，才會進行周期性調度。

• 任務營運：任務發布後，您可以在營運中心查看周期任務的運行情況。詳情請參見營運中心入門。

附錄：DataWorks參數