Object Storage Service:AI VibeFlow overview

Conceitos principais

• DataPipeline: objeto central de gerenciamento no AI VibeFlow. Cada DataPipeline corresponde a uma única regra de vetorização e é executado automaticamente após a criação.

• Dados de source: definem a fonte dos dados brutos a serem vetorizados, incluindo o bucket de source, o prefixo do objeto, os tipos de arquivo (texto, imagem e vídeo) e o modo de processamento (dados existentes, dados incrementais ou ambos).

• Configurações de vetorização: especificam a source do modelo de vetor, a chave de API do Model Studio, o modelo de vetor, a frequência de captura de quadros de vídeo (disponível apenas para modelos multimodais) e se o sistema deve excluir os vetores correspondentes em cascata quando o objeto de source for excluído.

• Dados de destino: determinam o bucket vetorial de destino, o índice de vetor e a regra de nomenclatura da chave do vetor para gravação dos dados vetoriais, além de indicar se ObjectTag e UserMeta devem ser escritos como metadados escalares.

• Tratamento de exceções: estabelece a política de processamento quando uma tarefa individual de vetorização falha (ignorar e continuar, ignorar e registrar log ou encerrar imediatamente) e permite especificar o bucket e o prefixo que receberão as mensagens de erro.

Benefícios

• Fluxo de trabalho ponta a ponta: grandes volumes de dados brutos não estruturados, o processo de vetorização e o armazenamento de dados vetoriais são tratados inteiramente dentro do OSS em um ciclo fechado, simplificando o pipeline de produção.

• Processamento automático: oferece suporte tanto à vetorização em lote de dados existentes quanto à vetorização automática de dados recém-carregados, sem necessidade de intervenção manual.

• Atualizações de dados sincronizadas: quando os dados brutos no bucket de objetos são modificados, sobrescritos ou excluídos, é possível optar por atualizar e excluir sincronizadamente os dados vetoriais correspondentes no bucket vetorial, reduzindo os custos de manutenção manual.

• Modelos de vetor flexíveis: chama diretamente os modelos de vetor de texto e multimodais fornecidos pelo Alibaba Cloud Model Studio (como text-embedding-v4 e tongyi-embedding-vision-plus), permitindo selecionar o modelo e as dimensões adequados conforme as necessidades do seu negócio.

• Custos transparentes: a vetorização utiliza sua própria chave de API do Model Studio, e as taxas de embedding são cobradas diretamente pelo Model Studio. No lado do OSS, você paga apenas pelas solicitações de API e pelo armazenamento vetorial, sem taxas adicionais de service.

• Falhas rastreáveis: para cada solicitação com falha, informações como ErrorCode, ErrorMessage e RequestId do Model Studio podem ser salvas como um objeto em um bucket especificado, facilitando a localização de problemas e novas tentativas.

Cenários

O AI VibeFlow é adequado para todos os cenários em que é necessário vetorizar grandes volumes de dados não estruturados no OSS. Os casos de uso típicos incluem:

• Recuperação semântica e RAG: vetorize documentos, imagens e vídeos em um bucket de objetos do OSS e grave os vetores em um bucket vetorial; em seguida, combine-os com grandes modelos de linguagem para criar aplicações de Geração Aumentada por Recuperação (RAG).

• Busca por imagem e texto no e-commerce: realize a vetorização multimodal de imagens e descrições de product e grave os vetores em um bucket vetorial para viabilizar buscas de imagem para imagem e de texto para imagem.

• Gestão de ativos de publicidade e marketing: vetorize automaticamente imagens e vídeos de marketing para habilitar a recuperação semântica de ativos e a recomendação de conteúdo similar.

• Construção de base de conhecimento empresarial: vetorize documentos de conhecimento interno e imagens de bancos de perguntas e grave os vetores em um bucket vetorial para permitir uma recuperação semântica unificada entre diferentes linhas de negócio.

• Governança de conteúdo multimídia: combine a similaridade vetorial com filtragem de metadados escalares para possibilitar o gerenciamento e a distribuição refinados de ativos de imagem e vídeo.

Faturamento

O uso do AI VibeFlow gera as seguintes taxas, cobradas separadamente pelo OSS e pelo Alibaba Cloud Model Studio:

Limites

• Uma única conta pode criar até 1.000 DataPipelines em uma única região.

• Cada DataPipeline corresponde a um modelo de vetor e a um índice de vetor.

• O bucket de objetos de source, o bucket vetorial de destino e o bucket que recebe mensagens de erro devem estar localizados na mesma região.

• A capacidade máxima de um único índice de vetor é de 2 bilhões de linhas. Quando o índice atinge o limite, o pipeline entra automaticamente no estado Paused.

• Quando ObjectTag e UserMeta são extraídos como metadados vetoriais, é possível especificar até 10 chaves para cada um.

Permissões

Ao criar um DataPipeline, você deve especificar uma função do RAM que o OSS utilizará para executar tarefas de vetorização em segundo plano. O AI VibeFlow usa uma política de confiança dedicada (datapipeline-oss.aliyuncs.com) e não pode reutilizar outras funções de service, como AliyunOSSRole.

{
  "Statement": [
    {
      "Action": "sts:AssumeRole",
      "Effect": "Allow",
      "Resource": "acs:ram::<account-id>:role/<RoleName>"
    }
  ],
  "Version": "1"
}

{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "ram:CreateRole",
        "ram:CreatePolicy",
        "ram:AttachPolicyToRole"
      ],
      "Resource": "*"
    }
  ]
}

{
  "Version": "1",
  "Statement": [
    {
      "Action": [
        "oss:GetObject",
        "oss:GetObjectTagging",
        "oss:GetBucketStat",
        "oss:ListObjects"
      ],
      "Resource": [
        "acs:oss:*:*:<source-bucket-name>",
        "acs:oss:*:*:<source-bucket-name>/*"
      ],
      "Effect": "Allow"
    },
    {
      "Action": [
        "oss:GetVectorIndex",
        "oss:PutVectors",
        "oss:DeleteVectors"
      ],
      "Resource": [
        "acs:ossvector:*:*:<vector-bucket-name>",
        "acs:ossvector:*:*:<vector-bucket-name>/<vector-index-name>"
      ],
      "Effect": "Allow"
    },
    {
      "Action": [
        "oss:PutObject",
        "oss:GetBucketStat"
      ],
      "Resource": [
        "acs:oss:*:*:<error-output-bucket-name>",
        "acs:oss:*:*:<error-output-bucket-name>/*"
      ],
      "Effect": "Allow"
    }
  ]
}

{
  "Statement": [
    {
      "Action": "sts:AssumeRole",
      "Effect": "Allow",
      "Principal": {
        "Service": [
          "datapipeline-oss.aliyuncs.com"
        ]
      }
    }
  ],
  "Version": "1"
}

Referências

• AI VibeFlow getting started

• Use AI VibeFlow to produce vector data

• OSS Vectors overview

• Text and multimodal vectorization with Model Studio