全部產品
Search
文件中心

Realtime Compute for Apache Flink:使用 Flink Python Coding Skill 開發作業

更新時間:Aug 15, 2026

本文介紹 Flink Python Coding Skill 的功能架構、安裝方式與典型使用情境。

功能概述

Flink Python Coding Skill 是Realtime Compute Flink 版提供的 AI 編程協助工具輔助,以外掛程式形式整合到主流 AI 編程助手中,將 PyFlink Realtime Compute開發知識體系注入 AI Agent,根據自然語言描述產生 Flink Python 作業代碼。

Skill 覆蓋 PyFlink 開發全鏈路,包括環境初始化、資料來源接入、運算元選擇、資料處理、結果寫入與部署準備,並重點強化 DataFrame API 與多模態 AI 處理能力,降低Realtime Compute與 AI 資料預先處理作業的開發門檻。

核心特性如下。

特性

說明

自然語言驅動開發

以一句話描述需求,Skill 自動完成 API 選擇、參數配置與代碼產生,無需記憶複雜 API

API 真實性校正

內建 PyFlink 官方 API 文件庫與運算元驗證指令碼,即時校正 API 是否存在,避免產生不存在的介面

生產級代碼標準

自動補全 Checkpoint、並行度、UDF 傳回型別與 Model Provider 配置,產生的程式碼可直接部署

多模態能力一體化

原生支援 image 系列運算元、llm.predict 與 llm.ai_embed,在流批作業中直接完成圖片理解、文本產生與向量化

多平台整合

支援 Claude Code、Cursor、Codex、Gemini CLI、通義靈碼、Qoder 等主流 AI 編程助手,一條命令完成安裝

控制台內的AI智能助手也內建作業開發技能,支援SQL產生與校正、草稿建立與部署,詳情請參見智能助手.

技術架構

Flink Python Coding Skill 採用多層知識注入架構,將完整的 PyFlink 開發知識體系系統化注入 AI Agent,確保產生的程式碼準確、可運行、可部署。

各層組件的功能如下。

image.png

組件

功能

編碼技能定義

定義 Skill 的核心職責、能力邊界和工作流程

上下文指南

覆蓋 PyFlink DataFrame、Table、DataStream、AI Function 與多模態運算元的參考文檔

API 與運算元選擇代理

智能代理,負責 API 與運算元的發現、驗證和推薦

選擇規則引擎

基於效能優先、流處理優先、相容性優先等原則的選擇策略

API 文件庫

PyFlink 完整 API 文檔,含 DataFrame、Image Operator、LLM 與 AI Function,支援即時查詢

運算元驗證指令碼

可執行指令碼,驗證 API 與運算元是否存在並擷取詳細文檔

適用平台

Flink Python Coding Skill 遵循 Agent Skills 開放標準,支援主流 AI 編程助手。各平台的安裝目錄如下。

AI 編程平台

安裝目錄

通用標準目錄

.agents/skills/,Claude Code、Cursor、Codex、Gemini CLI 等均可自動識別

Claude Code

.claude/skills/

Cursor

.cursor/rules/

Codex

.codex/skills/

OpenCode

.opencode/skills/

Gemini CLI

.gemini/skills/

通義靈碼與 Qoder

.aone_copilot/skills/ 或 .qoder/skills/

前提條件

已安裝 Node.js 18 及以上版本。

安裝 Skill

在專案根目錄執行以下命令,自動完成下載與安裝,無需手動解壓。

npx skills add aliyun/alibabacloud-aiops-skills \
  --skill alibabacloud-flink-python-coding \
  --global \
  --full-depth

更多安裝說明,請參見阿里雲 Skill 門戶。

驗證安裝

安裝過程中根據命令列提示選擇目標 AI Coding Agent。安裝完成後重啟 Agent 用戶端,執行以下命令確認全域安裝結果。

npx skills list --global

輸出中應包含以下內容。

SKILL.md      # Skill 定義與使用說明
assets        # 靜態資源
references    # PyFlink API 文檔與參考資料
說明

如需安裝到特定 AI 助手的專屬目錄,例如 .claude/skills/,在安裝完成後將目錄複寫過去即可。

使用方法

安裝完成後,在 AI 編程助手中以自然語言描述需求即可,無需套用固定模板。為使產生的程式碼貼合商務邏輯,提示詞中建議包含以下資訊。

提示要素

說明

VVR 引擎版本

例如 VVR 11.8.0,確保產生的 API 與目標引擎匹配

連接器與 Schema

資料來源和資料匯的類型,例如 Kafka、Paimon、Hologres,以及欄位定義

資料處理操作

期望執行的轉換、過濾、彙總、UDF、AI 推理或多模態處理

提示詞樣本如下。

建立一個 Flink Python 作業,VVR 11.8.0,從 OSS-CDC 讀取機器人採集的幀圖片(欄位:image_url、episode_id、frame_id、timestamp),調用 qwen3-vl-max 產生情境描述,再用 text-embedding-v4 產生向量,結果寫入 Paimon 資料湖。

Skill 將自動產生從資料讀取、DataFrame 處理到結果寫出的完整作業鏈路。

  • 按確認的 Schema、啟動語義和流批模式從資料來源讀取資料。

  • 以與目標 VVR 版本匹配的 PyFlink API 完成轉換、時間處理、關聯、彙總、UDF、AI 推理或多模態處理。

  • 通過已確認的資料匯寫出結果,保持約定的 Schema、時間語義和 Changelog 語義。

  • 自動管理 Connector 參數、模型配置、Python 依賴和運行檔案,避免在代碼中寫入憑據值。

  • 按實際需要產生程式碼封裝、依賴包和部署說明,供作業部署使用。

重要

Skill 在本地執行 Python 語法檢查與 API 驗證,本地驗證無法覆蓋線上環境中的全部問題。將作業部署到目標工作空間並實際啟動後,需驗證資料來源連通性、資源配置、檢查點配置和處理結果。

核心能力

智能 API 推薦

PyFlink 提供多層次的 API 體系,包括類 pandas 的 DataFrame API、聲明式的 Table API 與 SQL、底層的 DataStream API、Python UDF,以及多模態 Image Operator、LLM 與 AI Function 擴充能力。Skill 內建的 API Selector 智能代理自動完成 API 選擇與驗證。

  • 任務驅動推薦:根據任務描述,自動推薦最優 API 組合,並給出選擇理由。

  • API 真實性校正:基於 PyFlink 官方 API 文檔即時驗證 API 是否存在。

  • 備選方案提供:首選 API 存在限制時,自動提供替代方案,包括 UDF 回退方案。

DataFrame API 的核心能力覆蓋範圍如下。

  • 標準資料處理:from_records、from_dict、with_column、filter、select、group_by、join。

  • 多模態圖片處理:fetch_content、image.is_valid、image.decode、image.resize、image.encode。

  • LLM 原生調用:llm.predict、llm.ai_embed。

  • 資料寫出:write_kafka、write_hologres、write_generic。

常見問題規避

通用 AI 產生的 PyFlink 代碼常見問題及 Skill 的處理方式如下。

常見問題

處理方式

調用不存在的 API

基於 PyFlink 官方文檔即時校正,並執行本地檢查

遺漏執行觸發

根據目標輸出格式調用資料寫出函數,觸發作業執行

引擎版本選擇錯誤

匹配指定的 VVR 引擎版本

UDF 傳回型別不匹配

基於文檔給出正確的傳回型別聲明方式

連接器配置缺失

自動補全 Kafka、OSS、Paimon 等連接器的必要參數

流批模式混淆

根據需求自動選擇 streaming 或 batch 模式

使用樣本

情境一:PyFlink API 推薦與答疑

需求描述:從 OSS 讀取視頻並按固定時間間隔抽幀,調用大模型分析畫面情境,需要確定可用的 API 與實現路徑。

提示詞樣本如下。

我需要在 PyFlink 中從 OSS 上讀取視頻,每隔 5 秒取一幀,調用一次大模型分析畫面情境。應該使用哪些 API?

運行效果如下。

推薦使用 VVR 11.8+ 的 DataFrame 多模態 API。核心鏈路是:

OSS URI → read_video_frames → IMAGE → image_encode(data_url) → llm.predict

需要使用的主要 API:

- pf.read_video_frames(...):推薦的高層介面,直接接受單個 OSS URI、路徑列表、通配路徑或包含視頻 URI 的 DataFrame;sample_interval_ms=5000 表示按視頻時間軸每 5 秒採樣,而不是 Flink 的處理時間定時器。
- video_explode_frames(...):底層抽幀運算元,將結果展開為"一幀一行";需要精細控制視頻切片時可直接使用它。
- video_metadata(...)、video_split(...):長視頻需要先探測時間長度、分區並重新分配負載時使用。
- image_encode(..., output="data_url"):把 IMAGE 編碼成可被視覺模型消費的 Data URL。
- pf.set_model_provider(...)、pf.OpenAICompatProvider(...):註冊內建模型或百鍊、OpenAI 相容模型。
- DataFrame.llm.predict(...):逐幀執行視覺理解並輸出情境描述。

對於長視頻,不建議使用 video_extract_frames,因為它會把所有幀放進同一行的數組;read_video_frames 與 video_explode_frames 的逐幀輸出更適合模型調用和並發控制。

如果視頻是持續上傳到 OSS 的:

- 使用 oss-cdc Connector 訂閱 OSS/MNS 對象建立事件;
- 得到 url 列後調用 pf.read_video_frames(video_df, "url", ...)。

生產中還可以用 OSS URI + frame_time_ms 作為緩衝鍵,避免作業恢複或模型重試造成重複計費。

無需自行檢索和比對文檔,以自然語言描述需求即可獲得經過官方文檔核對的 API 建議、適用條件和實現路徑。

情境二:使用 PyFlink 對即時評論進行情感分析

需求描述:對 Kafka Topic 中的客戶評價即時執行情感分析,將情感標籤與信賴度寫回 Kafka。

提示詞樣本如下。

我想用 VVR 11.8 實現一個客戶評價分析作業。
我有一個 Kafka 叢集,串連端點是 kafka.example.com:9092。
customer_reviews 這個 Topic 裡有 review_id 和 review 兩個欄位。
請調用 Flink AI 服務裡的大模型判斷每條評價的情感,再把 review_id、
情感標籤和信賴度寫到同一叢集的 review_sentiments Topic。

無需手寫 Flink SQL,無需理解 DataStream 運算元鏈,以自然語言描述即可產出可部署的作業。

情境三:電商商品圖片分析與向量化入湖

需求描述:批量處理 OSS 上的商品圖片,完成讀取、預先處理與主色提取,調用多模態大模型產生商品描述並寫入 Hologres。

提示詞樣本如下。

我們有一批商品圖片需要用 PyFlink 做即時處理。
輸入是 oss://example-bucket/product-images/input/ 下的 Parquet 檔案,
欄位為 product_id 和 image_url。
請先下載、校正和解碼圖片,再統一縮放到 256×256 並計算圖片品質分。
之後使用 colorthief 提取主色,
然後使用大模型產生商品描述,要求100字以內。
最後把 product_id、品質分、主色、商品描述寫到 Paimon 資料湖,
Paimon 倉庫路徑為 oss://example-bucket/warehouse/。
使用的 VVR 版本為 11.8。

無需部署模型、管理 GPU 資源或編寫推理服務。DataFrame API 內建 image 系列多模態運算元與 AI 函數,可直接在 Flink 流批作業中完成圖片理解、文本產生與向量化。

相關文檔