AI VibeFlow 概述 - 对象存储 OSS

OSS AI VibeFlow 是对象存储 OSS 提供的多模态数据生产与转化服务。可以在 AI VibeFlow 中创建数据管道（DataPipeline），将 OSS 对象 Bucket中的文本、图片、视频等非结构化数据自动转化为向量数据，并写入 OSS 向量 Bucket 的向量索引表中。基于 AI VibeFlow 提供的自动化能力，可以在 OSS 中一站式完成"原始数据上传 → 数据向量化 → 向量数据存储 → 语义检索"的完整流程，大幅提升多模态数据生产与转化效率。

说明

当前功能白名单开放，需联系技术支持申请使用。

核心概念

数据管道（DataPipeline）：AI VibeFlow 中的核心管理对象。一条数据管道对应一条向量化处理规则，管道创建后自动运行。
源端数据：定义待向量化的原始数据来源，包括源 Bucket、文件前缀、文件类型（文本、图片、视频）以及处理模式（存量、增量、存量与增量）。
向量化配置：定义向量模型来源、百炼 API Key、向量模型、视频截帧频率（多模态模型专属），以及原始 Object 删除时是否级联删除对应向量。
目的端数据：定义向量数据写入的目标向量 Bucket、向量索引表（Index）、向量 Key 命名方式，以及是否将 ObjectTag、UserMeta 作为标量元数据一同写入。
异常处理：定义单条向量化任务失败时的处理策略（跳过并继续、跳过并记录、立即终止），并可指定错误信息接收 Bucket 与前缀。

产品优势

一站式流程：海量原始非结构化数据、向量化过程与向量数据存储全部在 OSS 内闭环完成，简化生产链路。
自动触发处理：既支持对存量数据进行批量向量化，也支持对新上传数据自动触发向量化，无需人工干预。
数据同步更新：当对象 Bucket 中的原始数据被修改、覆盖或删除时，向量 Bucket 中对应向量数据可选择同步更新与删除，减少人工维护成本。
灵活的向量模型：直接调用阿里云百炼提供的文本与多模态向量模型（如 text-embedding-v4、tongyi-embedding-vision-plus 等），可按业务需求选择合适的模型与维度。
成本透明：向量化调用自己的百炼 API Key，Embedding 费用由百炼直接收取；OSS 侧仅收取 API 请求费用与向量存储费用，无额外服务费。
失败可追溯：处理失败的每条请求均可将 ErrorCode、ErrorMessage、百炼 RequestId 等信息以 Object 形式转存至指定 Bucket，便于问题定位与重试。

应用场景

AI VibeFlow 适用于所有需要将 OSS 中海量非结构化数据向量化的场景，典型应用包括：

语义检索与 RAG：将 OSS 对象 Bucket 中的文档、图片、视频向量化后写入向量 Bucket，结合大语言模型构建检索增强生成（RAG）应用。
电商图文搜索：将商品图片和文案多模态向量化后写入向量 Bucket，支撑以图搜图、以文搜图。
广告营销素材管理：将营销图片、视频自动向量化，实现素材语义召回与相似内容推荐。
企业知识库构建：将企业内部知识文档、题库图片等向量化后写入向量 Bucket，实现跨业务线统一语义检索。
多媒体内容治理：结合向量相似度与标量元数据过滤，对图片、视频资产进行精细化管理与分发。

计费说明

使用 AI VibeFlow 将产生如下费用，分别由 OSS 与阿里云百炼收取：

计费项	收取方	说明
OSS API 请求费用	OSS	调用 AI VibeFlow 相关 API，以及自动触发的 GetObject、PutVectors 等 API 产生的读写请求费用。
向量存储费用	OSS	向量数据写入 Vector Bucket 后，按向量索引存储量收取。
Embedding 模型调用费用	阿里云百炼	向量化过程调用自己的百炼向量模型产生的费用，由百炼按调用量直接收取，请关注百炼账单。

说明

AI VibeFlow 不额外收取任务管理费用。由于向量化处理直接调用百炼 API Key，实际处理速度受百炼 API 限流（RPM/TPM）影响。如需提升吞吐，需要：通过百炼控制台或联系技术支持提升处理QPS。

使用限制

单账号在单地域内最多创建 1000 条数据管道。
一条数据管道对应一个向量模型、一张向量索引表。
源对象 Bucket、目标向量 Bucket 与错误信息接收 Bucket 必须位于同一地域。
单张向量索引表容量上限为 20 亿行，写满后管道自动进入"已暂停"状态。
ObjectTag 与 UserMeta 作为向量元数据抽取时，各支持指定最多 10 个键。

权限说明

创建数据管道时需要指定一个 RAM 角色，供 OSS 在后台执行向量化任务。AI VibeFlow 使用专属信任策略（datapipeline-oss.aliyuncs.com），不能复用 AliyunOSSRole 等其他服务角色。

场景一：主账号 + 新建角色（推荐）

通过控制台创建数据管道时选择新建角色，系统自动创建 oss-embedding-{uuid} 角色并完成所有权限和信任策略配置，无需任何手动操作。

场景二：RAM 子账号操作

使用 RAM 子账号创建数据管道时，主账号需提前完成以下 3 步授权。完成后子账号即可正常创建数据管道。

Step 1：授予 ram:PassRole（必须）

该权限允许子账号将角色传递给 OSS 服务，无法通过控制台快捷创建，必须由主账号提前授予。主账号登录 RAM 控制台，为子账号添加以下自定义策略：

{
  "Statement": [
    {
      "Action": "ram:PassRole",
      "Effect": "Allow",
      "Resource": "acs:ram::<主账号ID>:role/oss-embedding-*",
      "Condition": {
        "StringEquals": {
          "acs:Service": "datapipeline-oss.aliyuncs.com"
        }
      }
    }
  ],
  "Version": "1"
}

说明

Resource 中 oss-embedding-* 匹配控制台快捷创建的角色名。如果使用自定义角色，将 Resource 改为 acs:ram::<主账号ID>:role/<自定义角色名>。

Step 2：授予角色创建权限（快捷创建方式）

创建数据管道时，需要指定一个 RAM 角色让 OSS 在后台执行向量化任务时扮演（AssumeRole）。

授权方式（二选一）：

方式一：主账号在 RAM 控制台提前授权

主账号登录 RAM 控制台，为子账号添加自定义策略，授予对目标角色的 sts:AssumeRole 权限。示例策略：

{
  "Statement": [
    {
      "Action": "sts:AssumeRole",
      "Effect": "Allow",
      "Resource": "acs:ram::<主账号ID>:role/<RoleName>"
    }
  ],
  "Version": "1"
}

方式二：在 AI VibeFlow 控制台快捷创建

创建数据管道向导的"授权角色"步骤中，选择"新建角色"，系统将自动创建 oss-embedding-{uuid} 并绑定到当前子账号，无需主账号额外操作。

注意：使用快捷创建功能需要子账号拥有以下 RAM 权限，主账号需提前在 RAM 控制台授予：

{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "ram:CreateRole",
        "ram:CreatePolicy",
        "ram:AttachPolicyToRole"
      ],
      "Resource": "*"
    }
  ]
}

Step 3：确认角色权限和信任策略

使用"新建角色"快捷创建时，系统自动配置角色的权限策略和信任策略，无需手动操作。如果使用自定义角色，需确保角色拥有以下配置：

权限策略（角色需要的操作权限）：

{
  "Version": "1",
  "Statement": [
    {
      "Action": [
        "oss:GetObject",
        "oss:GetObjectTagging",
        "oss:GetBucketStat",
        "oss:ListObjects"
      ],
      "Resource": [
        "acs:oss:*:*:<源端Bucket名称>",
        "acs:oss:*:*:<源端Bucket名称>/*"
      ],
      "Effect": "Allow"
    },
    {
      "Action": [
        "oss:GetVectorIndex",
        "oss:PutVectors",
        "oss:DeleteVectors"
      ],
      "Resource": [
        "acs:ossvector:*:*:<向量Bucket名称>",
        "acs:ossvector:*:*:<向量Bucket名称>/<向量索引名称>"
      ],
      "Effect": "Allow"
    },
    {
      "Action": [
        "oss:PutObject",
        "oss:GetBucketStat"
      ],
      "Resource": [
        "acs:oss:*:*:<错误信息接收Bucket名称>",
        "acs:oss:*:*:<错误信息接收Bucket名称>/*"
      ],
      "Effect": "Allow"
    }
  ]
}

说明

向量资源前缀为 acs:ossvector:*:*:（非 acs:oss:*:*:）。未配置级联删除可去掉 oss:DeleteVectors；未配置错误接收 Bucket 可去掉第三组 Statement。

信任策略（允许 OSS 服务扮演该角色）：

{
  "Statement": [
    {
      "Action": "sts:AssumeRole",
      "Effect": "Allow",
      "Principal": {
        "Service": [
          "datapipeline-oss.aliyuncs.com"
        ]
      }
    }
  ],
  "Version": "1"
}

对象存储 OSS：AI VibeFlow 概述