本文通過一個電商商品圖片分析的樣本,介紹如何使用 Flink Python DataFrame API 呼叫多模態大模型,完成從圖片讀取、預先處理、產生商品描述到文本向量化的完整流程。DataFrame API 的更多介紹請參見功能概覽。
前提條件
已建立 Flink 工作空間,詳情請參見開通Realtime ComputeFlink版。
已開通 Flink AI 服務,詳情請參見Flink AI服務(內建模型)。
(可選)本地開發環境配置:由於 Flink Python DataFrame API 為 VVR 11.8 及以上的專屬功能,暫未在開源版 Flink 中提供,因此您需要使用下面的命令安裝 VVR 版 PyFlink 依賴包:
pip install "ververica-flink==11.8.0"說明ververica-flink是API-Only包,僅提供類型定義和介面聲明,用於本地開發,作業仍需在Realtime ComputeFlink版平台提交。
資料準備
在本例中,您需要準備測試圖片檔案(1.jpg、2.jpg、3.jpg),並通過檔案管理功能上傳到 Flink 工作空間。上傳方法請參見檔案管理。
作業開發
建立一個 Python 檔案(如 pyflink_dataframe_example.py),按照以下步驟進行作業開發。您可在本文檔末尾擷取 Python 檔案的完整代碼。
步驟一:註冊 AI 模型 Provider
使用 pf.set_model_provider註冊兩個 Model Provider:chat 用於圖片理解,embedding 用於把商品描述轉換為文本向量。
import pyflink.dataframe as pf
pf.set_model_provider(
"chat",
pf.OpenAICompatProvider(
task="chat/completions",
error_handling_strategy="RETRY",
retry_num=3,
retry_backoff_strategy="EXPONENTIAL",
),
)
pf.set_model_provider(
"embedding",
pf.OpenAICompatProvider(
task="embeddings",
error_handling_strategy="RETRY",
retry_num=3,
retry_backoff_strategy="EXPONENTIAL",
),
)步驟二:準備輸入資料
使用 pf.from_dict 構造輸入 DataFrame,包含商品 ID 和對應的 OSS 路徑。
OSS_PREFIX = "<your_oss_prefix>"
df = pf.from_dict(
{
"image_id": ["1", "2", "3"],
"image_url": [
f"{OSS_PREFIX}/1.jpg",
f"{OSS_PREFIX}/2.jpg",
f"{OSS_PREFIX}/3.jpg",
],
}
)您可以根據 Flink 工作空間的儲存類型確定 OSS_PREFIX 的值,詳情請參見檔案管理:
若儲存類型為 OSS bucket,
OSS_PREFIX的值為oss://<您綁定的OSS Bucket名稱>/artifacts/namespaces/<專案空間名稱>;
在生產環境中,通常從外部資料源讀取資料。DataFrame API 提供了多種資料讀寫函數,協助您便捷地操作外部資料,請參見I/O 讀寫。
步驟三:使用多模態運算元預先處理圖片
本例調用多模態運算元,對圖片 URL 執行以下操作:
通過
fetch_content()從 OSS 讀取圖片位元組。使用
image.is_valid()校正圖片。使用
image.decode()將編碼位元組解碼。使用
image.size_filter()完成尺寸檢查。使用
image.crop_black_border()、image.resize()和image.encode(output="data_url")產生適合多模態模型調用的 Data URL。
from pyflink.dataframe import col
preprocessed = (
df.with_column("image_bytes", col("image_url").fetch_content())
.with_column(
"image_valid",
col("image_bytes").image.is_valid(
pixel_limit=40_000_000,
concurrency=16,
),
)
.filter("image_valid")
.with_column(
"image",
col("image_bytes").image.decode(
on_error="null",
mode="RGB",
pixel_limit=40_000_000,
concurrency=16,
),
)
.drop_null(subset=["image"])
.with_columns(
min_size_pass=col("image").image.size_filter(
min_w=256,
min_h=256,
concurrency=16,
),
image_data=(
col("image")
.image.crop_black_border(concurrency=16)
.image.resize(width=1024, height=1024, concurrency=16)
.image.encode(
format="JPEG",
quality=85,
output="data_url",
concurrency=16,
)
),
)
.filter("min_size_pass")
)步驟四:調用 AI 函數
將預先處理後的圖片 Data URL 傳給 llm.predict,使用 qwen3.6-plus 產生商品描述;再調用 llm.ai_embed,使用 text-embedding-v4 產生描述向量。
result = (
preprocessed.llm.predict(
"image_data",
provider="chat",
model="qwen3.6-plus",
output_type=pf.DataType.struct(
{"image_description": pf.DataType.string()}
),
content_type="IMAGE_URL",
system_prompt=(
"你是一個電商商品分析助手。請根據商品圖片產生準確、簡潔的商品描述,"
"只輸出描述本身。"
),
temperature=0.2,
)
.llm.ai_embed(
"image_description",
provider="embedding",
model="text-embedding-v4",
)
.select(
"image_id",
"image_description",
"embedding",
)
)步驟五:輸出結果
將處理結果寫入 Parquet 檔案。
result.write_parquet(
f"{OSS_PREFIX}/product_descriptions/"
)DataFrame API 的詳細文檔請參見API參考。
作業部署與運行
部署 Python 作業。部署流程請參見Flink Python作業。
配置作業:
在頁面,單擊目標作業名稱。
在部署詳情頁簽基礎配置地區引擎版本,選擇 vvr-11.8-jdk11-flink-1.20。
運行作業:
在頁面,單擊目標作業名稱操作列中的啟動。
選擇無狀態啟動,單擊啟動,作業啟動詳情請參見作業啟動。
單擊啟動後,作業狀態變為運行中或已完成,則代表作業運行正常。如果您部署本文檔Python測試檔案,作業最終運行狀態是已完成狀態。
作業運行完成後,在檔案管理頁面下載
product_descriptions/目錄下的 Parquet 檔案,驗證輸出結果。預期輸出包含以下列:列名
類型
說明
image_idSTRING
商品 ID
image_descriptionSTRING
模型產生的商品描述
embeddingARRAY<FLOAT>
描述文本對應的向量
完整代碼
import pyflink.dataframe as pf
from pyflink.dataframe import col
OSS_PREFIX = "<your_oss_prefix>"
pf.set_model_provider(
"chat",
pf.OpenAICompatProvider(
task="chat/completions",
error_handling_strategy="RETRY",
retry_num=3,
retry_backoff_strategy="EXPONENTIAL",
),
)
pf.set_model_provider(
"embedding",
pf.OpenAICompatProvider(
task="embeddings",
error_handling_strategy="RETRY",
retry_num=3,
retry_backoff_strategy="EXPONENTIAL",
),
)
df = pf.from_dict(
{
"image_id": ["1", "2", "3"],
"image_url": [
f"{OSS_PREFIX}/1.jpg",
f"{OSS_PREFIX}/2.jpg",
f"{OSS_PREFIX}/3.jpg",
],
}
)
preprocessed = (
df.with_column("image_bytes", col("image_url").fetch_content())
.with_column(
"image_valid",
col("image_bytes").image.is_valid(
pixel_limit=40_000_000,
concurrency=16,
),
)
.filter("image_valid")
.with_column(
"image",
col("image_bytes").image.decode(
on_error="null",
mode="RGB",
pixel_limit=40_000_000,
concurrency=16,
),
)
.drop_null(subset=["image"])
.with_columns(
min_size_pass=col("image").image.size_filter(
min_w=256,
min_h=256,
concurrency=16,
),
image_data=(
col("image")
.image.crop_black_border(concurrency=16)
.image.resize(width=1024, height=1024, concurrency=16)
.image.encode(
format="JPEG",
quality=85,
output="data_url",
concurrency=16,
)
),
)
.filter("min_size_pass")
)
result = (
preprocessed.llm.predict(
"image_data",
provider="chat",
model="qwen3.6-plus",
output_type=pf.DataType.struct(
{"image_description": pf.DataType.string()}
),
content_type="IMAGE_URL",
system_prompt=(
"你是一個電商商品分析助手。請根據商品圖片產生準確、簡潔的商品描述,"
"只輸出描述本身。"
),
temperature=0.2,
)
.llm.ai_embed(
"image_description",
provider="embedding",
model="text-embedding-v4",
)
.select(
"image_id",
"image_description",
"embedding",
)
)
result.write_parquet(
f"{OSS_PREFIX}/product_descriptions/"
)