本文向您介紹如何使用 Flink Python DataFrame API 編寫一個作業,並部署運行。
前提條件
開始前,請確認已完成以下準備:
已開通Realtime Compute Flink 版工作空間。具體操作,請參見開通Realtime ComputeFlink版。
Realtime Compute引擎 VVR 11.8 及以上版本預裝了 Python 3.9、3.10 和 3.11,建議您選擇其中之一作為本地開發環境的 Python 版本。
本地環境搭建
建立工作目錄。
mkdir dataframe-quickstart cd dataframe-quickstart(可選)本地開發環境配置:由於 Flink Python DataFrame API 為 VVR 11.8 及以上的專屬功能,暫未在開源版 Flink 中提供,因此您需要使用下面的命令安裝 VVR 版 PyFlink 依賴包:
pip install "ververica-flink==11.8.0"說明ververica-flink是API-Only包,僅提供類型定義和介面聲明,用於本地開發,作業仍需在Realtime ComputeFlink版平台提交。
編寫 DataFrame API 作業
在目前的目錄下建立 quickstart.py 檔案,並寫入以下內容。
import pyflink.dataframe as pf
from pyflink.dataframe import col
def main():
pf.config.set("parallelism.default", "1")
sales = pf.from_records(
[
(1, "book", 42),
(2, "book", 78),
(3, "food", 120),
(4, "game", 35),
(5, "book", 52),
],
schema=["user_id", "item", "amount"],
)
result = (
sales.with_column("bonus_amount", col("amount") + 10)
.filter(col("amount") >= 50)
.rename({"item": "category"})
.select("user_id", "category", "amount", "bonus_amount")
)
result.write_generic(connector="print", options={"logger": True})
if __name__ == "__main__":
main()部署作業
作業開發完成後,您可以通過以下方式部署作業:
登入Realtime Compute控制台,進入目標工作空間。
在左側導覽列選擇 ,上傳
quickstart.py。在頁面,單擊,填寫部署資訊。
部署模式:可選擇流模式或批模式。
部署名稱:輸入部署名稱,如 quickstart。
引擎版本:請選擇 vvr-11.8-jdk11-flink-1.20。
Python檔案地址:選擇已上傳的
quickstart.py。
單擊部署。
啟動作業
在頁面的下拉式清單中,選擇流作業或批作業。
在目標作業名稱右側,單擊操作列下的啟動。
在右側彈出的視窗中,單擊啟動。
驗證結果
該作業使用Print連接器將結果列印到Task Manager日誌。作業結束後,您可以查看日誌驗證結果:
在頁面的下拉式清單中,選擇流作業或批作業。
單擊目標作業的名稱。
單擊作業日誌。
單擊Task Managers頁簽,在當前 TaskManager下拉式清單中,選擇 task manager。
日誌中包含以下資料時,表示作業已經運行成功:
+I[2, book, 78, 88]
+I[3, food, 120, 130]
+I[5, book, 52, 62]