快速完成从原始数据上传到向量语义检索的完整流程,包含三个核心步骤:前置准备、创建数据管道、查看运行结果。
在开始之前,请确保
已创建存储空间,并将待向量化的原始数据上传至该 Bucket。如仅处理增量数据,可提前规划好 Bucket 与存储路径。建议为待向量化的文件设置统一的 Object 前缀(如
source/images/),以便在创建数据管道时精确指定处理范围。如需将 Object Tag 或 User Metadata 作为向量元数据写入,请在上传时为文件设置相应的标签或自定义元数据。已在向量 Bucket 中创建向量索引表(Index),且索引维度与所选百炼向量模型的输出维度一致。向量 Bucket 必须与源端通用 Bucket 位于同一地域。单张向量索引表的容量上限为 20 亿行,请根据预期处理的文件数量提前规划索引表数量。
已开通阿里云百炼并获取 API Key(以
sk-开头),确认您的百炼 API Key 对应的限流配额(RPM/TPM)满足预期处理速度要求,如需提升吞吐,需要:通过百炼控制台或联系技术支持提升处理QPS。使用 RAM 子账号(而非主账号)操作 AI VibeFlow 时,需要提前完成以下权限配置。
当前功能白名单开放,需联系技术支持申请使用。
步骤一:创建数据管道
数据管道是 AI VibeFlow 的核心对象,定义了从源 Bucket 读取原始数据、调用百炼模型向量化、写入向量 Bucket 的完整规则。
登录OSS 管理控制台。
在左侧导航栏,单击AI VibeFlow。
在 AI VibeFlow 页面,单击创建数据管道。
按向导完成以下配置:
基础配置
规则名称:最多 64 个字符,支持大小写英文字母、数字、连字符(-)和下划线(_);同一账号同地域不可重复。
规则描述:可选,最多 200 个字符。
源数据配置
源端 Bucket:先选择地域,再选择目标 Bucket。
源端文件范围:全部文件处理 Bucket 内全部对象;指定文件名前缀仅处理匹配前缀的对象。
源端文件类型:可多选文本、图片、视频,需与后续向量模型能力匹配。
处理模式:仅处理存量起始数据(创建时已存在的文件);仅处理后续增量数据(新上传文件自动触发);处理存量和后续增量数据。
向量化配置
向量模型来源:当前仅支持阿里云百炼。
API KEY:输入百炼 API Key,以
sk-开头。向量模型:文本模型如
text-embedding-v4(默认)、text-embedding-v3;多模态模型如tongyi-embedding-vision-plus、tongyi-embedding-vision-flash。确保模型输出维度与向量索引维度一致。视频截帧频率:仅多模态模型可配置,取值 (0, 1],默认 1.0。数值越小抽帧越少。
级联删除设置:原始 Object 删除时,保留对应向量数据(默认);原始 Object 删除时,删除对应向量数据。
目的端数据配置
向量 Bucket:必须与源端 Bucket 位于同一地域。
向量 Index:从所选向量 Bucket 的索引列表中选择目标索引表,索引维度须与向量模型输出维度相同。
向量 Key 命名方式:可选。填写前缀后格式为
{前缀}/{ObjectKey};不填时与 ObjectKey 保持一致。将 ObjectTag 作为元数据:可选,最多 10 个键,用于后续标量过滤检索。
将 UserMeta 作为元数据:可选,最多 10 个键,系统自动补齐
X-OSS-META-前缀。
异常处理与授权
异常情况处理方式:跳过异常并继续执行后续处理任务;跳过异常并继续执行后续处理任务,同时获取异常信息详情(需配置错误信息接收 Bucket 与前缀,接收 Bucket 需与源端 Bucket 位于同一地域且不能为源端 Bucket 本身);一旦异常立即终止后续任务。
授权角色:选择新建角色自动创建
oss-embedding-{uuid}并绑定。
确认配置:检查所有配置项,确认无误后单击确定。
数据管道创建后不可修改,如需调整请删除后重建。
步骤二:查看数据管道运行状态
数据管道创建后自动进入"任务准备中"状态,随后转为"任务运行中"。
在 AI VibeFlow 页面的规则列表中,可查看每条管道的规则名称、状态、创建时间等信息。单击规则名称或"详情",可查看完整配置与运行统计。
步骤三:管理数据管道(可选)
数据管道创建后,可根据需要执行以下管理操作。
暂停数据管道:处于"运行中"的管道支持手动暂停。暂停后未处理文件保持等待,已写入向量数据不受影响。
重启数据管道:对已暂停的管道可重启继续处理。若因索引写满自动暂停,请先创建新索引,再新建管道指向新索引。
删除数据管道:删除后 OSS 停止向量化处理,已写入的向量数据不会被删除。运行中的管道请先暂停再删除。删除操作不可撤销。
查看向量化错误信息:若创建管道时选择了"跳过并记录错误信息",失败请求的 ErrorCode、ErrorMessage、百炼 RequestId 会以 Object 形式写入指定 Bucket,路径格式为
{ErrorBucket}/{ErrorPrefix}/{DataPipelineName}/{ObjectKey}-{毫秒时间戳}.log。
步骤四:执行向量语义检索
向量化完成后,即可对写入向量 Bucket 的数据执行语义检索,构建 RAG 应用或相似内容搜索服务。具体检索操作请参见OSS Vectors 快速入门。