向量检索版通过 AI 搜索开放平台的离线服务,对存储在 OSS 中的视频进行深度语义解析(视频切割、视频总结、多模态向量化),自动生成关键帧、标题、内容总结与标签,从而支持以文本、图片及图文混搜的方式检索视频片段,适用于视频问答等深度语义检索场景。
适用范围
视频语义检索当前支持华东1(杭州)、华东2(上海)与华北 2( 北京)区域。
原始视频文件须存储在阿里云对象存储 OSS 中。
该功能会调用 AI 搜索开放平台的视频切割、视频总结与多模态向量服务,将产生相应费用,计费规则请参见产品计费。
配置实例
新购实例的状态为待配置。依次完成表基础信息 > 数据同步 > 字段配置 > 索引结构 > 确认创建,并等待索引构建完成后即可查询。
1. 表基础信息
进入实例列表页,在左侧导航栏选择表管理,单击添加表,依次填写表名称、数据分片数、数据更新资源数,并在场景模板中选择“向量:视频搜索”,再选中视频语义检索,单击下一步。
配置说明:
参数 | 说明 |
表名称 | 自定义。 |
数据分片数 | 不超过 256 的正整数,用于提升全量构建速度与单次查询性能。 |
数据更新资源数 | 数据更新所用资源数。每个索引默认免费提供 2 个 4 核 8G 的更新资源,超出免费额度将产生费用。 |
场景模板 | 选择向量:视频搜索,并选中。 |
2. 数据同步
全量数据来源选择对象存储OSS + API,需通过数据来源校验方可进入下一步。视频数据经所选数据来源上传至 AI 搜索开放平台离线平台处理后,再导入向量检索版构建索引。详细配置参数如下:
参数 | 说明 |
OSS 访问域名(Endpoint) | 与实例所属区域一致的 OSS 内网 Endpoint,如 oss-cn-hangzhou-internal.aliyuncs.com。 |
OSS 存储空间(Bucket) | 与实例所属区域一致的 OSS Bucket 名称。 |
OSS 路径 | 以 / 开头。目录名需包含 opensearch,或为该 Bucket 添加 opensearch:opensearch 标签。 |
数据格式 | ha3。 |
3. 字段配置
系统根据视频语义检索模板预置以下字段,并将全量数据来源中的字段自动导入字段列表。其中主键字段与向量字段必填,其余字段可按需保留或删除。
字段名称 | 字段类型 | 字段标签 | 说明 |
video_chunk_id | STRING | 主键 | 片段主键,全表唯一。 |
embedding | FLOAT | 多模态向量 | 多值向量字段,数据源为 video 字段。 |
video_id | STRING | 视频主键 | 视频 ID。 |
video | STRING | 视频链接 | 视频的 OSS 链接,需进行数据预处理配置。 |
index | INTEGER | 片段数 | 片段序号。 |
title | TEXT | 片段标题 | 片段标题。 |
title_str | STRING | 片段标题-字符串 | 片段标题(字符串)。 |
transcript | TEXT | 字幕 | 片段字幕。 |
transcript_str | STRING | 字幕-字符串 | 片段字幕(字符串)。 |
video_summary | TEXT | 片段总结 | 片段内容总结。 |
video_summary_str | STRING | 片段总结-字符串 | 片段内容总结(字符串)。 |
snapshots | STRING | - | 片段关键帧的序号、链接与时间。 |
tags | STRING | 视频标签 | 片段标签。 |
start_time | FLOAT | - | 片段开始时间。 |
end_time | FLOAT | - | 片段结束时间。 |
sub_ids | STRING | - | 完整视频对应的片段主键。 |
type | STRING | - | 完整视频或视频片段。 |
video_name | STRING | - | 视频名称。 |
配置视频链接字段(video)的数据源:单击 video 字段数据源的去配置,设置数据类型为“视频”、数据来源为“OSS 对象存储”,并填写 OSS 访问域名、OSS 存储空间(Bucket)与 OSS 存放路径。OSS 存放路径用于存放 AI 搜索开放平台离线平台处理后的数据内容。
配置向量字段(embedding)的数据处理:单击 embedding 字段的编辑,数据处理模板为“视频语义检索”,按以下顺序执行三项服务:
处理顺序 | 服务类型 | 模型 | 输出维度 | 说明 |
1 | 视频切割 | ops-video-segment-001 | - | 对视频和语音进行理解解析,将视频切割成内容相关的片段并提取关键帧。 |
2 | 视频总结 | ops-video-summarize-001 | - | 基于视觉大模型生成视频片段的总结、标题与标签。 |
3 | 多模态向量 | qwen3-vl-embedding | 2560 | 将视频内容向量化,用于向量检索。 |
其中视频切割与视频总结为固定服务,不可修改;多模态向量可选择 AI 搜索开放平台支持的多模态向量模型。数据处理需在 API Key配置中完成工作空间、API Key 与连接域名的设置,请参见创建和管理 API Key。
视频语义检索与视频视觉检索同属「向量:视频搜索」场景模板,二者预置字段与向量维度不同:视频语义检索的向量由多模态向量模型 qwen3-vl-embedding 生成,维度为 2560。
4. 索引结构
系统为向量字段外的其他字段自动构建同名索引,向量索引需手动配置。在向量索引中,索引名称为 embedding,配置如下:
参数 | 取值 |
主键字段 | video_chunk_id |
向量字段 | embedding |
命名空间 | 非必填,可为空。配置后查询时需指定命名空间。 |
向量维度 | 2560 |
距离类型 | InnerProduct |
实时索引 | true |
向量索引算法 | HNSW |
系统已自动填充向量索引参数,如无特殊需求可直接单击确定完成配置。
5. 确认创建
索引配置完成后,单击确认创建。系统将自动构建索引,构建完成后索引自动在当前实例中启用。
变更历史
在实例管理 > 变更历史 > 数据源变更中,可查看创建表、新增索引与索引重建的所有 FSM。全部完成后引擎搭建完成,即可开始查询测试。
查询测试
在左侧导航栏选择向量管理 > 查询测试,以开发者模式为例进行测试,设置表名与查询方式,在左侧输入查询参数,单击搜索后在右侧查看结果。
视频语义检索的预测查询(/vector-service/inference-query)支持融合查询,即同时传入文本与图片进行图文混搜。示例:
{
"indexName": "embedding",
"modal": "fusion",
"topK": 3,
"contentType": "text,image_uri",
"contents": ["hello", "https://example.com/image.png"],
"includeVector": false
}视频语义检索的预测查询不支持 video_uri 类型查询。
更多测试功能请参见:查询测试。