Flink Python Streaming節點使用 - DataWorks

Flink Python Streaming節點支援通過提交Python檔案的方式運行Flink即時任務。您可以在DataWorks中選擇已上傳的Flink Python資源或Flink File作為Python檔案地址，配置入口模組和運行參數後，完成基於Python的即時資料處理任務的開發與發布。本文介紹如何在DataWorks中開發和配置Flink Python Streaming節點。

前提條件

已在管理中心綁定Realtime ComputeFlink版計算資源，詳情請參見綁定全託管Flink計算資源。
已上傳Flink Python資源，詳情請參見Flink資源與函數。
已建立Flink Python Streaming節點，詳情請參見建立調度工作流程的節點。

已為DataWorks調用Realtime ComputeFlink版OpenAPI使用的RAM使用者或RAM角色新增授權以下OpenAPI許可權。該授權用於將節點任務提交並部署到Flink叢集。

{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["stream:CreateDeployment", "stream:UpdateDeployment", "stream:GetDeployment", "stream:DeleteDeployment"],
      "Resource": ["*"]
    }
  ]
}

使用限制

該節點不支援在工作流程中使用，僅支援作為獨立節點進行開發和運行。
僅支援使用Serverless資源群組，不支援舊版獨享調度資源群組。

步驟一：配置Flink Python Streaming節點

在Flink Python Streaming節點編輯頁面，配置以下參數資訊。

配置主介面參數

在節點編輯頁面左側地區，配置以下參數。

參數	描述
Python 檔案地址	必填。下拉選擇已在資源管理中上傳的Flink Python資源或Flink File。Flink Python資源僅支援`.py`檔案；如需使用`.zip`檔案作為主作業入口，請以Flink File形式上傳。當Entry Module參數為空白時，該參數必須以`.py`結尾。
Entry Module	程式的入口模組，例如`example.word_count`。當Python 檔案地址指向`.zip`檔案時，該參數必填。
Entry Point Main Arguments	作業參數。
Python Libraries	下拉選擇已上傳的Flink File作為第三方Python包。第三方Python包會被添加到Python worker進程的PYTHONPATH中，從而在Python自訂函數中可以直接存取。
Python Archives	下拉選擇已上傳的Flink File作為封存檔案。目前支援ZIP格式的檔案，例如`.zip`、`.jar`、`.whl`和`.egg`等。
附加依賴檔案	下拉選擇已上傳的Flink File作為附加依賴檔案。

配置Flink資源

Flink資源配置（包括Flink叢集、引擎版本、資源群組、資源模式及Job Manager/Task Manager參數）與Flink JAR Streaming節點一致，請參見該文檔中的配置說明。

（可選）配置指令碼參數

您可在右側導覽列的实时配置框的腳本參數中單擊添加參數，並編輯相應的參數名和參數值資訊。

（可選）配置Flink運行參數

Flink運行參數配置（包括系統檢查點間隔、兩次系統檢查點之間的最短時間間隔、State資料到期時間、其他配置）與Flink JAR Streaming節點一致，請參見該文檔中的配置說明。

完成任務配置後，單擊保存節點任務。

步驟二：啟動Flink Python Streaming節點

發布Flink Python Streaming節點。
任務需要發布至營運中心後才可執行，請參考介面引導對需要啟動並執行Flink Python Streaming節點執行發佈動作，詳情請參見節點/工作流程發布。
啟動Flink Python Streaming節點。
任務發布後，您可以單擊發布到生產環境下方的去运维，在營運中心的任務運維 > 实时任务运维 > 实时计算任务中找到需要啟動的任務，單擊任務操作列的啟動按鈕，啟動並查看Realtime Compute任務的運行情況。