Flink JAR Batch節點使用 - DataWorks

Flink JAR Batch節點支援通過提交JAR包的方式運行Flink批處理任務。您可以在DataWorks中選擇已上傳的Flink Jar資源作為作業入口，配置入口類和調度參數後，完成大規模資料批處理任務的開發與發布。本文介紹如何在DataWorks中開發和配置Flink JAR Batch節點。

前提條件

已在管理中心綁定Realtime ComputeFlink版計算資源，詳情請參見綁定全託管Flink計算資源。
已上傳Flink Jar資源，詳情請參見Flink資源與函數。
已建立Flink JAR Batch節點，詳情請參見建立調度工作流程的節點。

已為DataWorks調用Realtime ComputeFlink版OpenAPI使用的RAM使用者或RAM角色新增授權以下OpenAPI許可權。該授權用於將節點任務提交並部署到Flink叢集。

{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["stream:CreateDeployment", "stream:UpdateDeployment", "stream:GetDeployment", "stream:DeleteDeployment"],
      "Resource": ["*"]
    }
  ]
}

使用限制

僅支援使用Serverless資源群組，不支援舊版獨享調度資源群組。

步驟一：配置Flink JAR Batch節點

在Flink JAR Batch節點編輯頁面，配置以下參數資訊。

配置主介面參數

在節點編輯頁面左側地區，配置以下參數。

參數	描述
JAR 檔案	必填。下拉選擇已在資源管理中上傳的Flink Jar資源。
Entry Point Class	程式的入口類。如果JAR包未指定主類，需要在此處輸入Entry Point Class類的標準路徑。
Entry Point Main Arguments	作業參數。在主方法裡面調用該參數，支援輸入多個參數。
附加依賴檔案	下拉選擇已上傳的Flink File作為附加依賴檔案。說明如果Flink計算資源中的部署目標選擇為Session叢集，則附加依賴檔案不生效。

配置調度

您可在編輯頁面右側調度配置框中配置以下參數。

Flink資源資訊

參數	參數描述
Flink 集群	在管理中心綁定的全託管Flink計算資源名稱。
Flink 引擎版本	您可根據實際情況選擇引擎版本。
資源組	選擇與Flink網路連通的Serverless資源群組。
Job Manager CPU	根據Flink的最佳實務，JobManager至少需要0.5核CPU和2 GiB記憶體來確保穩定運行，建議配置為1核CPU和4 GiB記憶體，最大不超過16核CPU。
Job Manager Memory	JobManager的記憶體配置影響其處理調度和管理工作的能力，推薦配置範圍是2 GiB到64 GiB。
Task Manager CPU	TaskManager的CPU資源配置影響其任務處理能力。建議配置至少0.5核CPU和2 GiB記憶體，推薦1核CPU和4 GiB記憶體，最大不超過16核CPU。
Task Manager Memory	TaskManager的記憶體配置決定了其處理任務的資料量和效能。記憶體大小至少應為2 GiB，最大可設定為64 GiB。
並發度	決定了Flink作業中任務的並存執行數量。支援勾選自動推斷，由系統根據作業特性自動化佈建並發度。
最大 Slot 數	作業可使用的最大Slot數量，用於限制作業的資源上限。
每個 TaskManager Slot 數	每個TaskManager的Slot數決定了它可以並存執行的任務數量。

調度參數

您可在調度參數中配置調度參數，實現調度情境下的動態傳參。調度參數使用詳情請參見調度參數來源及其運算式。

其他調度相關配置（包括Flink 運行參數、調度策略、調度時間、調度依賴等），請參見Flink SQL Batch節點中的相應配置說明。

完成任務配置後，單擊保存節點任務。

步驟二：運行Flink JAR Batch節點

任務需要發布至營運中心後才可執行，請參考介面引導對需要啟動並執行Flink JAR Batch節點執行發佈動作，詳情請參見節點/工作流程發布。發布後可在營運中心查看周期執行個體的運行情況。