Flink Python作業開發 - Realtime Compute for Apache Flink

本文為您介紹Flink Python API作業開發的背景資訊、使用限制、開發方法、調試方法和連接器使用等。

背景資訊

Flink Python作業需要您在本地完成開發工作，Python作業開發完成後，再在Flink開發控制台上部署並啟動才能看到業務效果。整體的操作流程詳情請參見Flink Python作業快速入門。

Flink工作空間已安裝下列軟體包。

Flink工作空間已安裝下列軟體包。

Flink工作空間已安裝下列軟體包。

由於Flink受部署環境、網路環境等因素的影響，所以開發Python作業，需要注意以下限制：

僅支援開源Flink V1.13及以上版本。
Flink工作空間已預裝了Python環境，且Python環境中已預裝了Pandas、NumPy、PyArrow等常用的Python庫。
說明
Realtime Compute引擎VVR 8.0.11以下版本預裝Python 3.7.9版本，Realtime Compute引擎VVR 8.0.11及以上版本預裝Python 3.9.21版本。如需將低版本升級至Realtime Compute引擎VVR 8.0.11及以上版本，必須對先前版本的PyFlink作業進行重新測試、部署和運行。
Flink運行環境僅支援JDK 8和JDK 11，如果Python作業中依賴第三方JAR包，請確保JAR包相容。
VVR 4.x僅支援開源Scala V2.11版本，VVR 6.x及以上版本僅支援開源Scala V2.12版本。如果Python作業中依賴第三方JAR包，請確保使用Scala版本對應的JAR包依賴。

您可以參見以下文檔在本地完成Flink業務代碼開發，開發完成後您需要將其上傳到Flink開發控制台，並部署上線作業。

您可以在Python自訂函數的代碼實現中，通過logging的方式，輸出日誌資訊，方便後期問題定位，樣本如下。

@udf(result_type=DataTypes.BIGINT())
def add(i, j):    
  logging.info("hello world")    
  return i + j

日誌輸出後，您可以在TaskManager的記錄檔查看。

Flink所支援的連接器列表，請參見支援的連接器。連接器使用方法如下：

登入Realtime Compute控制台。
單擊目標工作空間操作列下的控制台。
在左側導覽列，單擊檔案管理。
單擊上傳資源，選擇您要上傳的目標連接器的Python包。
您可以上傳您自己開發的連接器，也可以上傳Flink提供的連接器。Flink提供的連接器官方Python包的下載地址，請參見Connector列表。
在營運中心 > 作業營運頁面，單擊部署作業 > Python 作業，附加依賴檔案項選擇目標連接器的Python包，配置其他參數並部署作業。
單擊部署的作業名稱，在部署詳情頁簽運行參數配置地區，單擊編輯，在其他配置中，添加Python連接器包位置資訊。
如果您的作業需要依賴多個連接器Python包，例如依賴的2個包的名字分別為connector-1.jar和connector-2.jar，則配置資訊如下。
```
pipeline.classpaths: 'file:///flink/usrlib/connector-1.jar;file:///flink/usrlib/connector-2.jar'
```