Object Storage Service:AI VibeFlow getting started

Etapa 1: Criar um DataPipeline

O DataPipeline é o objeto central do AI VibeFlow. Ele define as regras completas para leitura dos dados brutos no bucket de origem, chamada de um modelo do Model Studio para vetorização e gravação dos vetores no bucket vetorial.

1. Faça login no console do OSS.

2. No painel de navegação à esquerda, clique em AI VibeFlow.

3. Na página AI VibeFlow, clique em Crie DataPipeline.

4. Siga o assistente para concluir as configurações abaixo:

   • Basic settings

     • Rule Name: até 64 caracteres. São aceitas letras maiúsculas e minúsculas, números, hífens (-) e sublinhados (_). O nome precisa ser exclusivo na mesma conta e região.

     • Rule Description: opcional, máximo de 200 caracteres.

   • Source data settings

     • Source Bucket: selecione primeiro a região e, em seguida, escolha o bucket de destino.

     • Source File Scope: a opção All Files processa todos os objetos do bucket, enquanto Especifique Object Name Prefix processa apenas aqueles que correspondem ao prefixo.

     • Source File Types: é possível escolher vários tipos entre Text, Image e Video. A seleção precisa ser compatível com os recursos do modelo vetorial que você utilizará posteriormente.

     • Processing Mode: Process only existing initial data (arquivos já presentes no momento da criação do pipeline), Process only subsequent incremental data (novos uploads disparam o processamento automaticamente) ou Process both existing and subsequent incremental data.

   • Vectorization settings

     • Vector Model Source: no momento, apenas Alibaba Cloud Model Studio é compatível.

     • API KEY: insira a chave de API do Model Studio, iniciada por sk-.

     • Vector Model: modelos de texto, como text-embedding-v4 (padrão) e text-embedding-v3, ou modelos multimodais, como tongyi-embedding-vision-plus e tongyi-embedding-vision-flash. Verifique se as dimensões de saída do modelo são idênticas às do índice vetorial.

     • Video Frame Capture Frequency: configuração disponível apenas para modelos multimodais. A faixa de valores aceita é (0, 1], com 1,0 como padrão. Valores menores resultam na captura de menos quadros.

     • Cascade Deletion Settings: Retain the corresponding vector data when the source object is excluído (padrão) ou exclua the corresponding vector data when the source object is excluído.

   • Destination data settings

     • Vector Bucket: precisa estar na mesma região do bucket de origem.

     • Vector Index: escolha o índice de destino na lista de índices do bucket vetorial selecionado. As dimensões do índice precisam corresponder às dimensões de saída do modelo vetorial.

     • Vector Key Naming Rule: opcional. Ao definir um prefixo, o formato segue {prefix}/{ObjectKey}. Se o campo permanecer vazio, a chave vetorial será idêntica ao ObjectKey.

     • Use ObjectTag as metadata: opcional, limite de 10 chaves, utilizadas para filtragem escalar em etapas posteriores de recuperação.

     • Use UserMeta as metadata: opcional, limite de 10 chaves. O sistema inclui automaticamente o prefixo X-OSS-META-.

   • Exception handling and authorization

     • Exception Handling Method: Skip the exception and continue with subsequent processing tasks, Skip the exception and continue with subsequent processing tasks, and obtain the exception details (configure um bucket e um prefixo para receber os logs de erro; o bucket receptor precisa estar na mesma região do bucket de origem e não pode ser o próprio bucket de origem) ou Terminate subsequent tasks immediately when an exception occurs.

     • Authorized Role: selecione Crie Role para criar e vincular automaticamente oss-embedding-{uuid}.

   • Confirme the settings: revise todas as configurações e clique em OK quando estiver tudo correto.

Etapa 2: Visualizar o status de execução do DataPipeline

Assim que um DataPipeline é criado, ele entra automaticamente no estado "Task Preparing" e, em seguida, muda para "Task Running".

Na lista de regras da página AI VibeFlow, visualize informações como nome da regra, status e data de criação de cada pipeline. Clique no nome da regra ou em "Details" para conferir a configuração completa e as estatísticas de execução.

Etapa 3: Gerenciar o DataPipeline (opcional)

Após criar o DataPipeline, execute as operações de gerenciamento a seguir, conforme necessário.

• Pause a DataPipeline: pipelines no estado Running podem ser pausados manualmente. Durante a pausa, os arquivos pendentes permanecem no estado de espera e os dados vetoriais já gravados não sofrem alterações.

• Restart a DataPipeline: retome o processamento de um pipeline pausado. Caso a pausa tenha ocorrido automaticamente devido ao limite do índice, crie um novo índice antes e configure um pipeline direcionado a ele.

• exclua a DataPipeline: a remoção interrompe a vetorização no OSS, mas mantém intactos os dados vetoriais já gravados. Pause o pipeline em execução antes de excluí-lo. Esta ação é irreversível.

• visualize vectorization error messages: ao marcar "Skip and log error messages" durante a criação, o sistema grava no bucket especificado os objetos com ErrorCode, ErrorMessage e RequestId do Model Studio das solicitações com falha. O caminho segue o formato {ErrorBucket}/{ErrorPrefix}/{DataPipelineName}/{ObjectKey}-{millisecond timestamp}.log.

Etapa 4: Executar recuperação semântica baseada em vetores

Concluída a vetorização, aplique a recuperação semântica nos dados gravados no bucket vetorial para desenvolver aplicações RAG ou serviços de busca de conteúdo semelhantes. Para detalhes sobre as operações de recuperação, consulte OSS Vectors getting started.

Próximas etapas

Todas as operações com DataPipelines do AI VibeFlow podem ser realizadas pelo console, ossutil, SDKs ou APIs. Este tópico de primeiros passos demonstra apenas o fluxo pelo console. Para configurações completas e uso avançado, consulte Use AI VibeFlow to produce vector data.