使用AI_CLASSIFY和LLM構建即時文本分類 - Realtime Compute for Apache Flink

本文為您介紹如何使用AI_CLASSIFY通過AI大模型進行分類。

使用限制

僅Realtime Compute引擎VVR 11.4及以上版本支援。
AI_CLASSIFY語句相關的Flink運算元的輸送量受到模型平台限流的限制。當觸及平台允許的訪問資料傳輸量上限時，Flink作業會表現出以該運算元為瓶頸的反壓現象。在限流情況嚴重時，可能會觸發相關運算元的逾時報錯及作業重啟。

文法

AI_CLASSIFY(
  MODEL => MODEL <MODEL NAME>, 
  INPUT => <INPUT COLUMN NAME>,
  LABELS => <LABELS>
)

入參

參數	資料類型	說明
MODEL <MODEL NAME>	MODEL	註冊的模型服務名字。詳情請參見模型設定註冊模型服務。注意：目前需要該模型的輸出類型為 VARIANT 類型。
<INPUT COLUMN NAME>	STRING	模型的待分類資料。
<LABELS>	ARRAY<STRING>	預期的分類類別。注意：目前該入參需要是一個常量。

輸出

參數	資料類型	說明
category	STRING	模型判斷的類別
confidence	DOUBLE	模型輸出的信賴度

樣本

測試資料

id	content	label
1	【李寧官方旗艦店】韋德之道10 男子籃球鞋實戰球鞋減震回彈雲五代科技黑紅配色	Digital Product
2	Apple iPhone 15 Pro Max 256GB 深空黑 5G手機 A17Pro晶片鈦金屬邊框官方正品國行	Clothing Shoes Accessories

測試語句

樣本SQL建立千問Qwen-Plus模型，使用AI_CLASSIFY函數對商品類別進行分類。

CREATE TEMPORARY MODEL general_model
INPUT (`input` STRING)
OUTPUT (`content` VARIANT)
WITH (
    'provider' = 'openai-compat',
    'endpoint'='<YOUR ENDPOINT>',
    'apiKey' = '<YOUR KEY>',
    'model' = 'qwen-plus'
);

CREATE TEMPORARY VIEW products(id, content)
AS VALUES (1,  '【李寧官方旗艦店】韋德之道10 男子籃球鞋 實戰球鞋 減震回彈 雲五代科技 黑紅配色'), (2, 'Apple iPhone 15 Pro Max 256GB 深空黑 5G手機 A17Pro晶片 鈦金屬邊框 官方正品國行');

-- Use positional argument to call AI_CLASSIFY
SELECT id, category, confidence FROM products, 
LATERAL TABLE(
  AI_CLASSIFY(
    MODEL general_model, content, ARRAY['Digital Product', 'Clothing Shoes Accessories']));

-- Use named argument to call AI_CLASSIFY
SELECT id, category, confidence FROM products, 
LATERAL TABLE(
  AI_CLASSIFY(
    MODEL => MODEL general_model, 
    INPUT => content, 
    LABELS => ARRAY['Digital Product', 'Clothing Shoes Accessories']));

輸出結果

id	category	confidence
1	Clothing Shoes Accessories	0.95
2	Digital Product	0.99