本文为您介绍如何使用AI_CLASSIFY通过AI大模型进行分类。
使用限制
-
仅实时计算引擎VVR 11.4及以上版本支持。
-
AI_CLASSIFY语句相关的Flink算子的吞吐量受到模型平台限流的限制。当触及平台允许的访问流量上限时,Flink作业会表现出以该算子为瓶颈的反压现象。在限流情况严重时,可能会触发相关算子的超时报错及作业重启。
语法
AI_CLASSIFY(
MODEL => MODEL <MODEL NAME>,
INPUT => <INPUT COLUMN NAME>,
LABELS => <LABELS>
)
入参
|
参数 |
数据类型 |
说明 |
|
MODEL <MODEL NAME> |
MODEL |
注册的模型服务名字。详情请参见模型设置注册模型服务。 注意:目前需要该模型的输出类型为 VARIANT 类型。 |
|
<INPUT COLUMN NAME> |
STRING |
模型的待分类数据。 |
|
<LABELS> |
ARRAY<STRING> |
预期的分类类别。 注意:目前该入参需要是一个常量。 |
输出
|
参数 |
数据类型 |
说明 |
|
category |
STRING |
模型判断的类别 |
|
confidence |
DOUBLE |
模型输出的置信度 |
示例
测试数据
|
id |
content |
label |
|
1 |
【李宁官方旗舰店】韦德之道10 男子篮球鞋 实战球鞋 减震回弹 云五代科技 黑红配色 |
Digital Product |
|
2 |
Apple iPhone 15 Pro Max 256GB 深空黑 5G手机 A17Pro芯片 钛金属边框 官方正品国行 |
Clothing Shoes Accessories |
测试语句
示例SQL创建千问Qwen-Plus模型,使用AI_CLASSIFY函数对商品类别进行分类。
CREATE TEMPORARY MODEL general_model
INPUT (`input` STRING)
OUTPUT (`content` VARIANT)
WITH (
'provider' = 'openai-compat',
'task' = 'chat/completions',
'model' = 'qwen-plus'
);
CREATE TEMPORARY VIEW products(id, content)
AS VALUES (1, '【李宁官方旗舰店】韦德之道10 男子篮球鞋 实战球鞋 减震回弹 云五代科技 黑红配色'), (2, 'Apple iPhone 15 Pro Max 256GB 深空黑 5G手机 A17Pro芯片 钛金属边框 官方正品国行');
-- Use positional argument to call AI_CLASSIFY
SELECT id, category, confidence FROM products,
LATERAL TABLE(
AI_CLASSIFY(
MODEL general_model, content, ARRAY['Digital Product', 'Clothing Shoes Accessories']));
-- Use named argument to call AI_CLASSIFY
SELECT id, category, confidence FROM products,
LATERAL TABLE(
AI_CLASSIFY(
MODEL => MODEL general_model,
INPUT => content,
LABELS => ARRAY['Digital Product', 'Clothing Shoes Accessories']));
输出结果
|
id |
category |
confidence |
|
1 |
Clothing Shoes Accessories |
0.95 |
|
2 |
Digital Product |
0.99 |