建立Flink SQL Batch節點 - DataWorks

Flink SQL Batch節點使您能夠使用標準SQL語句定義和執行資料處理任務，適用於巨量資料集的分析與轉換，包括資料清洗和彙總。該節點支援可視化配置，為您提供高效且靈活的大規模資料批處理方案。在Flink SQL Batch節點中，您可以使用類SQL陳述式完成大規模資料加工的批處理。本文將介紹如何在Flink SQL Batch節點中配置和使用SQL語句來完成資料的批處理。

前提條件

已建立工作空間，並在管理中心綁定Realtime ComputeFlink版計算資源，詳情請參見綁定計算資源（參加新版資料開發公測）。
已建立Flink SQL Batch節點，詳情請參見建立周期任務。

步驟一：開發Flink SQL Batch節點

在Flink SQL Batch節點編輯頁面，執行如下開發操作，完成節點任務的開發。

開發SQL代碼

在SQL編輯地區開發工作單位代碼，您可在代碼中使用${變數名}的方式定義變數，並在節點編輯頁面右側調度配置的調度參數中為該變數賦值。實現調度情境下代碼的動態傳參，調度參數使用詳情請參見調度參數支援格式，樣本如下。

--建立源表datagen_source。
CREATE TEMPORARY TABLE datagen_source_${var}(
  name VARCHAR
) WITH (
  'connector' = 'datagen',
  'number-of-rows' = '1000' 
);

--建立結果表blackhole_sink。
CREATE TEMPORARY TABLE blackhole_sink_${var}(
  name  VARCHAR
) WITH (
  'connector' = 'blackhole'
);

--將源表資料插入到結果表。
INSERT INTO blackhole_sink_${var}
SELECT
  name
FROM datagen_source_${var};

說明

該樣本參數bizdate對應的參數值為$[yyyymmdd]，通過設定該參數可以實現對每日新增資料的批量同步處理。

步驟二：配置Flink SQL Batch節點

您可根據業務情況，參照下面的參數描述資訊配置Flink SQL Batch節點任務。

配置Flink資源

您可在編輯頁面右側調度配置的Flink資源資訊中配置如下參數資訊，詳情請參見配置作業部署資訊。

參數	描述
Flink 叢集	在管理中心綁定的全託管Flink計算資源名稱。
Flink 引擎版本	您可根據實際情況選擇引擎版本。
調度資源群組	選擇與Flink網路連通的Serverless資源群組。
Job Manager CPU	根據Flink的最佳實務，JobManager至少需要0.5核CPU和2GiB記憶體來確保穩定運行，建議配置為1核CPU和4 GiB記憶體，最大不超過16核CPU。具體配置應根據叢集規模和作業複雜度調整。
Job Manager Memory	JobManager的記憶體配置影響其處理調度和管理工作的能力，推薦配置範圍是2 GiB到64 GiB，以確保穩定高效的運行。具體大小應根據叢集規模和作業需求調整。
Task Manager CPU	TaskManager的CPU資源配置影響其任務處理能力。根據Flink的最佳實務，建議配置至少0.5核CPU和2 GiB記憶體，推薦1核CPU和4 GiB記憶體，最大不超過16核CPU。具體配置應依據實際需求調整。
Task Manager Memory	TaskManager的記憶體配置決定了其處理任務的資料量和效能。為了確保任務穩定執行和高效處理，記憶體大小至少應為2 GiB，最大可設定為64 GiB。
並發度	決定了Flink作業中任務的並存執行數量，較高的並發度可以提高處理速度和資源使用率，您需要根據叢集資源和作業特性進行合理設定。
最大Slot數	代表了Task Manager上可以分配給任務的固定大小的資源。每個Slot可以運行一個task或operator執行個體。您可以根據實際資源情況調整最大Slot數。
每個TaskManager Slot數	每個TaskManager的Slot數決定了它可以並存執行的任務數量，您可通過調整Slot配置最佳化資源利用和作業的平行處理能力。

（可選）配置調度參數

您可在編輯頁面右側調度配置的調度參數地區單擊添加參數，並編輯相應的參數名、參數值資訊，方便在代碼中動態使用。

（可選）配置Flink運行參數

您可在編輯頁面右側調度配置的Flink運行參數地區中配置相關運行參數資訊，詳情請參見配置作業部署資訊。

Flink運行參數配置時，其編寫規範與VVP（Ververica Platform）保持相容，支援直接採用YAML文法格式編寫配置，無需添加分號等特殊符號實現換行。

說明

如需定期執行節點任務，請根據業務需求配置調度資訊（調度策略、調度時間、調度依賴及節點輸出參數），詳情請參見節點調度。

完成任務配置後，單擊儲存。

步驟三：發布Flink SQL Batch節點並營運

節點任務配置完成後，需對節點進行發布，詳情請參見節點/工作流程發布
任務發布後，您可以單擊發布到生產環境下方的去營運，在營運中心查看周期任務的運行情況。詳情請參見營運中心入門。

DataWorks：Flink SQL Batch節點