Flink Python Batch節點使用 - DataWorks

Flink Python Batch節點支援通過提交Python檔案的方式運行Flink批處理任務。您可以在DataWorks中選擇已上傳的Flink Python資源或Flink File作為Python檔案地址，配置入口模組和調度參數後，完成基於Python的大規模資料批處理任務的開發與發布。本文介紹如何在DataWorks中開發和配置Flink Python Batch節點。

前提條件

已在管理中心綁定Realtime ComputeFlink版計算資源，詳情請參見綁定全託管Flink計算資源。
已上傳Flink Python資源，詳情請參見Flink資源與函數。
已建立Flink Python Batch節點，詳情請參見建立調度工作流程的節點。

已為DataWorks調用Realtime ComputeFlink版OpenAPI使用的RAM使用者或RAM角色新增授權以下OpenAPI許可權。該授權用於將節點任務提交並部署到Flink叢集。

{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["stream:CreateDeployment", "stream:UpdateDeployment", "stream:GetDeployment", "stream:DeleteDeployment"],
      "Resource": ["*"]
    }
  ]
}

使用限制

僅支援使用Serverless資源群組，不支援舊版獨享調度資源群組。

步驟一：配置Flink Python Batch節點

在Flink Python Batch節點編輯頁面，配置以下參數資訊。

配置主介面參數

在節點編輯頁面左側地區，配置以下參數。

參數	描述
Python 檔案地址	必填。下拉選擇已在資源管理中上傳的Flink Python資源或Flink File。Flink Python資源僅支援`.py`檔案；如需使用`.zip`檔案作為主作業入口，請以Flink File形式上傳。當Entry Module參數為空白時，該參數必須以`.py`結尾。
Entry Module	程式的入口模組，例如`example.word_count`。當Python 檔案地址以`.zip`結尾時，該參數必填。
Entry Point Main Arguments	作業參數。
Python Libraries	下拉選擇已上傳的Flink File作為第三方Python包。第三方Python包會被添加到Python worker進程的PYTHONPATH中，從而在Python自訂函數中可以直接存取。
Python Archives	下拉選擇已上傳的Flink File作為封存檔案。目前支援ZIP格式的檔案，例如`.zip`、`.jar`、`.whl`和`.egg`等。
附加依賴檔案	下拉選擇已上傳的Flink File作為附加依賴檔案。

配置調度

調度配置（包括Flink資源資訊、調度參數、Flink運行參數、調度策略、調度時間、調度依賴等），請參見Flink SQL Batch節點中的相應配置說明。

完成任務配置後，單擊保存節點任務。

步驟二：運行Flink Python Batch節點

任務需要發布至營運中心後才可執行，請參考介面引導對需要啟動並執行Flink Python Batch節點執行發佈動作，詳情請參見節點/工作流程發布。發布後可在營運中心查看周期執行個體的運行情況。