Flink JAR Streaming節點使用 - DataWorks

Flink JAR Streaming節點支援通過提交JAR包的方式運行Flink即時任務。您可以在DataWorks中選擇已上傳的Flink Jar資源作為作業入口，配置入口類和運行參數後，完成即時資料處理任務的開發與發布。本文介紹如何在DataWorks中開發和配置Flink JAR Streaming節點。

前提條件

已在管理中心綁定Realtime ComputeFlink版計算資源，詳情請參見綁定全託管Flink計算資源。
已上傳Flink Jar資源，詳情請參見Flink資源與函數。
已建立Flink JAR Streaming節點，詳情請參見建立調度工作流程的節點。

已為DataWorks調用Realtime ComputeFlink版OpenAPI使用的RAM使用者或RAM角色新增授權以下OpenAPI許可權。該授權用於將節點任務提交並部署到Flink叢集。

{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["stream:CreateDeployment", "stream:UpdateDeployment", "stream:GetDeployment", "stream:DeleteDeployment"],
      "Resource": ["*"]
    }
  ]
}

使用限制

該節點不支援在工作流程中使用，僅支援作為獨立節點進行開發和運行。
僅支援使用Serverless資源群組，不支援舊版獨享調度資源群組。

步驟一：配置Flink JAR Streaming節點

在Flink JAR Streaming節點編輯頁面，配置以下參數資訊。

配置主介面參數

在節點編輯頁面左側地區，配置以下參數。

參數	描述
JAR 檔案	必填。下拉選擇已在資源管理中上傳的Flink Jar資源。
Entry Point Class	程式的入口類。如果JAR包未指定主類，需要在此處輸入Entry Point Class類的標準路徑。
Entry Point Main Arguments	作業參數。在主方法裡面調用該參數，支援輸入多個參數。
附加依賴檔案	下拉選擇已上傳的Flink File作為附加依賴檔案。說明如果Flink計算資源中的部署目標選擇為Session叢集，則附加依賴檔案不生效。

配置Flink資源

您可在編輯頁面右側实时配置框的Flink 資源信息中根據资源模式配置如下參數資訊，詳情請參見配置作業資源。

參數	參數描述
Flink 集群	在管理中心綁定的全託管Flink計算資源名稱。
Flink 引擎版本	您可根據實際情況選擇引擎版本。
資源組	選擇與Flink網路連通的Serverless資源群組。
资源模式	支援以下兩種模式，詳情請參見配置作業資源。基础模式（預設值）：適合初學者和簡單應用情境，使用預設配置和簡化設定來快速啟動和運行Flink作業。專家模式：為有經驗的使用者提供進階配置選項，允許對效能和資源進行精細化調優，以滿足複雜或高效能需求。
Job Manager CPU	根據Flink的最佳實務，JobManager至少需要0.5核CPU和2 GiB記憶體來確保穩定運行，建議配置為1核CPU和4 GiB記憶體，最大不超過16核CPU。
Job Manager Memory	JobManager的記憶體配置影響其處理調度和管理工作的能力，推薦配置範圍是2 GiB到64 GiB。
Task Manager CPU	TaskManager的CPU資源配置影響其任務處理能力。建議配置至少0.5核CPU和2 GiB記憶體，推薦1核CPU和4 GiB記憶體，最大不超過16核CPU。
Task Manager Memory	TaskManager的記憶體配置決定了其處理任務的資料量和效能。記憶體大小至少應為2 GiB，最大可設定為64 GiB。
並發度	決定了Flink作業中任務的並存執行數量，較高的並發度可以提高處理速度和資源使用率，您需要根據叢集資源和作業特性進行合理設定。
每個 TaskManager Slot 數	每個TaskManager的Slot數決定了它可以並存執行的任務數量，您可通過調整Slot配置最佳化資源利用和作業的平行處理能力。

（可選）配置指令碼參數

您可在右側導覽列的实时配置框的腳本參數中單擊添加參數，並編輯相應的參數名、參數值資訊。

（可選）配置Flink運行參數

您可在右側導覽列的实时配置框的Flink 運行參數中配置如下參數資訊，詳情請參見配置作業部署資訊。

參數	描述
系统检查点间隔	配置該參數決定了Flink作業定時執行系統檢查點的時間間隔，較短的間隔可以減少故障恢復但會增加系統開銷。如果不填寫，將會關閉系統檢查點。
两次系统检查点之间的最短时间间隔	配置該參數定義了Flink在連續檢查點之間必須等待的最小時間，以防止過於頻繁的檢查點對系統效能造成影響。
State資料到期時間	配置該參數決定了Flink作業中狀態資料在沒有被訪問或更新的情況下可以保留的最長時間，預設值為36小時。重要此處預設值根據云上最佳實務的經驗值設定，與開源的預設值不同（開源預設值為0，表示狀態資訊永不到期）。
其它配置	支援Flink的其他運行參數配置，例如：`taskmanager.network.memory.max:4g`。

完成任務配置後，單擊保存節點任務。

步驟二：啟動Flink JAR Streaming節點

發布Flink JAR Streaming節點。
任務需要發布至營運中心後才可執行，請參考介面引導對需要啟動並執行Flink JAR Streaming節點執行發佈動作，詳情請參見節點/工作流程發布。
啟動Flink JAR Streaming節點。
任務發布後，您可以單擊發布到生產環境下方的去运维，在營運中心的任務運維 > 实时任务运维 > 实时计算任务中找到需要啟動的任務，單擊任務操作列的啟動按鈕，啟動並查看Realtime Compute任務的運行情況。