全部產品
Search
文件中心

Realtime Compute for Apache Flink:使用Flink Python DataFrame API進行電商商品圖片分析

更新時間:Jul 30, 2026

本文通過一個電商商品圖片分析的樣本,介紹如何使用 Flink Python DataFrame API 呼叫多模態大模型,完成從圖片讀取、預先處理、產生商品描述到文本向量化的完整流程。DataFrame API 的更多介紹請參見功能概覽。

前提條件

  • 已建立 Flink 工作空間,詳情請參見開通Realtime ComputeFlink版。

  • 已開通 Flink AI 服務,詳情請參見Flink AI服務(內建模型)。

  • (可選)本地開發環境配置:由於 Flink Python DataFrame API 為 VVR 11.8 及以上的專屬功能,暫未在開源版 Flink 中提供,因此您需要使用下面的命令安裝 VVR 版 PyFlink 依賴包:

    pip install "ververica-flink==11.8.0"
    說明

    ververica-flink是API-Only包,僅提供類型定義和介面聲明,用於本地開發,作業仍需在Realtime ComputeFlink版平台提交。

資料準備

在本例中,您需要準備測試圖片檔案(1.jpg、2.jpg、3.jpg),並通過檔案管理功能上傳到 Flink 工作空間。上傳方法請參見檔案管理。

作業開發

建立一個 Python 檔案(如 pyflink_dataframe_example.py),按照以下步驟進行作業開發。您可在本文檔末尾擷取 Python 檔案的完整代碼。

步驟一:註冊 AI 模型 Provider

使用 pf.set_model_provider註冊兩個 Model Provider:chat 用於圖片理解,embedding 用於把商品描述轉換為文本向量。

import pyflink.dataframe as pf

pf.set_model_provider(
    "chat",
    pf.OpenAICompatProvider(
        task="chat/completions",
        error_handling_strategy="RETRY",
        retry_num=3,
        retry_backoff_strategy="EXPONENTIAL",
    ),
)

pf.set_model_provider(
    "embedding",
    pf.OpenAICompatProvider(
        task="embeddings",
        error_handling_strategy="RETRY",
        retry_num=3,
        retry_backoff_strategy="EXPONENTIAL",
    ),
)

步驟二:準備輸入資料

使用 pf.from_dict 構造輸入 DataFrame,包含商品 ID 和對應的 OSS 路徑。

OSS_PREFIX = "<your_oss_prefix>"

df = pf.from_dict(
    {
        "image_id": ["1", "2", "3"],
        "image_url": [
            f"{OSS_PREFIX}/1.jpg",
            f"{OSS_PREFIX}/2.jpg",
            f"{OSS_PREFIX}/3.jpg",
        ],
    }
)
說明

您可以根據 Flink 工作空間的儲存類型確定 OSS_PREFIX 的值,詳情請參見檔案管理:

  • 若儲存類型為 OSS bucket,OSS_PREFIX的值為 oss://<您綁定的OSS Bucket名稱>/artifacts/namespaces/<專案空間名稱>;

說明

在生產環境中,通常從外部資料源讀取資料。DataFrame API 提供了多種資料讀寫函數,協助您便捷地操作外部資料,請參見I/O 讀寫。

步驟三:使用多模態運算元預先處理圖片

本例調用多模態運算元,對圖片 URL 執行以下操作:

  1. 通過 fetch_content() 從 OSS 讀取圖片位元組。

  2. 使用 image.is_valid() 校正圖片。

  3. 使用 image.decode() 將編碼位元組解碼。

  4. 使用 image.size_filter() 完成尺寸檢查。

  5. 使用 image.crop_black_border()、image.resize() 和 image.encode(output="data_url") 產生適合多模態模型調用的 Data URL。

from pyflink.dataframe import col

preprocessed = (
    df.with_column("image_bytes", col("image_url").fetch_content())
    .with_column(
        "image_valid",
        col("image_bytes").image.is_valid(
            pixel_limit=40_000_000,
            concurrency=16,
        ),
    )
    .filter("image_valid")
    .with_column(
        "image",
        col("image_bytes").image.decode(
            on_error="null",
            mode="RGB",
            pixel_limit=40_000_000,
            concurrency=16,
        ),
    )
    .drop_null(subset=["image"])
    .with_columns(
        min_size_pass=col("image").image.size_filter(
            min_w=256,
            min_h=256,
            concurrency=16,
        ),
        image_data=(
            col("image")
            .image.crop_black_border(concurrency=16)
            .image.resize(width=1024, height=1024, concurrency=16)
            .image.encode(
                format="JPEG",
                quality=85,
                output="data_url",
                concurrency=16,
            )
        ),
    )
    .filter("min_size_pass")
)

步驟四:調用 AI 函數

將預先處理後的圖片 Data URL 傳給 llm.predict,使用 qwen3.6-plus 產生商品描述;再調用 llm.ai_embed,使用 text-embedding-v4 產生描述向量。

result = (
    preprocessed.llm.predict(
        "image_data",
        provider="chat",
        model="qwen3.6-plus",
        output_type=pf.DataType.struct(
            {"image_description": pf.DataType.string()}
        ),
        content_type="IMAGE_URL",
        system_prompt=(
            "你是一個電商商品分析助手。請根據商品圖片產生準確、簡潔的商品描述,"
            "只輸出描述本身。"
        ),
        temperature=0.2,
    )
    .llm.ai_embed(
        "image_description",
        provider="embedding",
        model="text-embedding-v4",
    )
    .select(
        "image_id",
        "image_description",
        "embedding",
    )
)

步驟五:輸出結果

將處理結果寫入 Parquet 檔案。

result.write_parquet(
    f"{OSS_PREFIX}/product_descriptions/"
)
說明

DataFrame API 的詳細文檔請參見API參考。

作業部署與運行

  1. 部署 Python 作業。部署流程請參見Flink Python作業。

  2. 配置作業:

    1. 在營運中心 > 作業營運頁面,單擊目標作業名稱。

    2. 在部署詳情頁簽基礎配置地區引擎版本,選擇 vvr-11.8-jdk11-flink-1.20。

  3. 運行作業:

    1. 在營運中心 > 作業營運頁面,單擊目標作業名稱操作列中的啟動。

    2. 選擇無狀態啟動,單擊啟動,作業啟動詳情請參見作業啟動。

      單擊啟動後,作業狀態變為運行中或已完成,則代表作業運行正常。如果您部署本文檔Python測試檔案,作業最終運行狀態是已完成狀態。

  4. 作業運行完成後,在檔案管理頁面下載 product_descriptions/ 目錄下的 Parquet 檔案,驗證輸出結果。預期輸出包含以下列:

    列名

    類型

    說明

    image_id

    STRING

    商品 ID

    image_description

    STRING

    模型產生的商品描述

    embedding

    ARRAY<FLOAT>

    描述文本對應的向量

完整代碼

import pyflink.dataframe as pf
from pyflink.dataframe import col

OSS_PREFIX = "<your_oss_prefix>"

pf.set_model_provider(
    "chat",
    pf.OpenAICompatProvider(
        task="chat/completions",
        error_handling_strategy="RETRY",
        retry_num=3,
        retry_backoff_strategy="EXPONENTIAL",
    ),
)

pf.set_model_provider(
    "embedding",
    pf.OpenAICompatProvider(
        task="embeddings",
        error_handling_strategy="RETRY",
        retry_num=3,
        retry_backoff_strategy="EXPONENTIAL",
    ),
)

df = pf.from_dict(
    {
        "image_id": ["1", "2", "3"],
        "image_url": [
            f"{OSS_PREFIX}/1.jpg",
            f"{OSS_PREFIX}/2.jpg",
            f"{OSS_PREFIX}/3.jpg",
        ],
    }
)

preprocessed = (
    df.with_column("image_bytes", col("image_url").fetch_content())
    .with_column(
        "image_valid",
        col("image_bytes").image.is_valid(
            pixel_limit=40_000_000,
            concurrency=16,
        ),
    )
    .filter("image_valid")
    .with_column(
        "image",
        col("image_bytes").image.decode(
            on_error="null",
            mode="RGB",
            pixel_limit=40_000_000,
            concurrency=16,
        ),
    )
    .drop_null(subset=["image"])
    .with_columns(
        min_size_pass=col("image").image.size_filter(
            min_w=256,
            min_h=256,
            concurrency=16,
        ),
        image_data=(
            col("image")
            .image.crop_black_border(concurrency=16)
            .image.resize(width=1024, height=1024, concurrency=16)
            .image.encode(
                format="JPEG",
                quality=85,
                output="data_url",
                concurrency=16,
            )
        ),
    )
    .filter("min_size_pass")
)

result = (
    preprocessed.llm.predict(
        "image_data",
        provider="chat",
        model="qwen3.6-plus",
        output_type=pf.DataType.struct(
            {"image_description": pf.DataType.string()}
        ),
        content_type="IMAGE_URL",
        system_prompt=(
            "你是一個電商商品分析助手。請根據商品圖片產生準確、簡潔的商品描述,"
            "只輸出描述本身。"
        ),
        temperature=0.2,
    )
    .llm.ai_embed(
        "image_description",
        provider="embedding",
        model="text-embedding-v4",
    )
    .select(
        "image_id",
        "image_description",
        "embedding",
    )
)

result.write_parquet(
    f"{OSS_PREFIX}/product_descriptions/"
)