Object Storage Service:OSS Vectors

Conceitos principais

• Bucket de vetores: Novo tipo de bucket que serve como recurso de cloud para gerenciar dados vetoriais em grande escala.

• Índice de vetores: Tabela de índices para armazenar dados vetoriais dentro de um bucket de vetores. Crie vários índices de vetores em um único bucket para organizar dados conforme diferentes necessidades de negócio. Ao iniciar uma consulta de recuperação, o sistema retorna resultados com base na similaridade dos dados vetoriais no índice especificado.

• Modo de índice: Um índice de vetores pode utilizar Standard Mode ou Fusion Mode. Os dois modos diferem na estrutura do índice, nas capacidades de schema e nos métodos de recuperação. Especifique o modo ao criar um índice de vetores. Índices de modos diferentes podem coexistir no mesmo bucket de vetores.

• Dados vetoriais: Arrays numéricos de alta dimensão gerados a partir de dados não estruturados, como imagens, vídeos e documentos, por meio de modelos de embedding vetorial. Esses arrays representam as características de conteúdo dos dados. A recuperação vetorial retorna resultados baseados na similaridade entre esses vetores. Utilize qualquer service de vetorização, como ECS, PAI ou Model Studio, para gerar vetores e gravá-los em um índice específico usando a API do OSS, SDKs ou a ferramenta ossutil. Durante a gravação, anexe metadados para filtragem escalar posterior.

• Metadados escalares: Ao gravar dados vetoriais, anexe metadados escalares para permitir filtragem escalar subsequente.

Modos de índice de vetores

O OSS Vectors oferece dois modos de índice para atender a diferentes requisitos de custo, desempenho e complexidade de recuperação. Crie índices de ambos os modos dentro do mesmo bucket de vetores.

Benefícios

• Baixo custo: Os dados vetoriais tornaram-se infraestrutura essencial para diversas aplicações de IA e crescem exponencialmente. O OSS Vectors possui um modelo de faturamento simples e transparente, cobrando apenas dois itens: armazenamento de dados vetoriais e volume de dados verificados durante a recuperação. Isso reduz os custos em mais de 90% em comparação aos métodos tradicionais.

• Grande escala: Projetado para armazenar e gerenciar volumes massivos de dados vetoriais, o OSS Vectors baseia-se em uma arquitetura serverless que lida automaticamente com o dimensionamento, eliminando a necessidade de planejamento de capacidade.

• Facilidade de uso: O OSS Vectors fornece um conjunto abrangente de APIs, SDKs e a ferramenta de linha de comando ossutil. Gerencie dados vetoriais diretamente no console do OSS com operações como recuperação, inserção e inserção em massa.

• Gestão unificada: Gerencie buckets de vetores e buckets padrão que armazenam dados brutos de maneira consistente. Aplique a mesma Bucket Policy para controle de acesso ou configure um caminho comum de exportação de logs para auditoria.

• Recuperação semântica: Utilize a operação QueryVectors para consultar dados vetoriais em um índice e receber resultados ordenados por similaridade. O OSS Vectors também suporta filtragem baseada em metadados escalares. Anexe metadados ao gravar dados vetoriais em um bucket para pós-filtragem. Ao criar um índice de vetores, defina metadados não filtráveis. Esse tipo de metadado não serve para filtragem, mas é retornado com os resultados da recuperação para fornecer informações descritivas sobre o vetor.

• Busca híbrida (Fusion Mode): O Fusion Mode permite configurar múltiplos campos vetoriais e vários tipos de campos escalares em um único índice, recuperando-os simultaneamente por meio de múltiplos retrievers. Em seguida, o sistema funde e classifica os resultados de todos os retrievers usando RRF ou Weighted Rank. Isso atende às necessidades de recuperação de alta precisão em cenários multimodais com condições complexas.

Casos de uso

Crie aplicações RAG de baixo custo

Com a expansão dos services de IA, o crescimento exponencial de dados vetoriais aumenta a pressão sobre os custos de armazenamento e recuperação. Para cenários de recuperação multimodal, como bases de conhecimento, assistentes de IA e recuperação de imagens médicas, os usuários toleram cada vez mais latências de recuperação na faixa de dezenas a centenas de milissegundos. Nesses casos, utilize o Standard Mode do OSS Vectors como base de armazenamento para suas aplicações RAG e atenda aos requisitos de negócio com custo extremamente baixo.

Construa agentes de IA com recuperação em camadas

Diferentes agentes de IA possuem necessidades variadas de desempenho de recuperação. Centralize todos os seus dados vetoriais em um bucket de vetores OSS econômico no Standard Mode. Para cenários de negócio que exigem alto desempenho e baixa latência, armazene os dados em um bucket de vetores OSS no Fusion Mode. Essa abordagem permite construir uma arquitetura de aplicação de agente de IA com recuperação em camadas.

Implemente uma plataforma unificada de conteúdo de IA

Aplicações de IA geram grandes quantidades de conteúdo não estruturado (como conteúdo gerado por usuários, documentos internos e conteúdo gerado por IA) e seus vetores correspondentes, o que pode levar a sistemas fragmentados de armazenamento e recuperação. Ao armazenar dados brutos em buckets OSS padrão e dados vetoriais em buckets de vetores, construa uma plataforma eficiente de gestão de dados de IA para casos de uso como gestão de dados AIGC. Um único conjunto de APIs e SDKs permite gerenciar tanto arquivos brutos quanto índices vetoriais, simplificando a criação de uma plataforma unificada de conteúdo de IA.

Busca híbrida semântica e multimodal

Para cenários online que exigem maior recall e menor latência, como busca de products de e-commerce, compreensão de conteúdo de vídeo e imagem e perguntas e respostas em bases de conhecimento corporativas, utilize o Fusion Mode. Este modo suporta vetores de múltiplas colunas, busca de texto completo e classificação híbrida em vários retrievers. Ele combina flexivelmente múltiplos sinais de recuperação, incluindo similaridade vetorial, palavras-chave de texto, filtragem escalar e dados geoespaciais, melhorando significativamente os resultados de recuperação para consultas complexas.

Recursos empresariais

Acesso via endpoint

O OSS Vectors fornece endpoints públicos e internos separados, isolados dos buckets padrão do OSS.

• Endpoint público: $bucketname-$uid.regionID.oss-vectors.aliyuncs.com

• Endpoint interno: $bucketname-$uid.regionID-internal.oss-vectors.aliyuncs.com

Nota: Utilize um domínio de terceiro nível para todas as operações, exceto ListVectorBuckets .

Transferência segura

O HTTPS criptografa todos os dados em trânsito.

Controle de acesso

• Bucket Policy: Suporta políticas de autorização baseadas em recursos, permitindo controlar permissões no nível do bucket de vetores ou para um ou mais índices de vetores.

• RAM Policy: Suporta políticas de autorização RAM baseadas em identidade para controle granular de permissões sobre buckets de vetores, índices de vetores e operações de dados. Essas políticas também suportam autorização de acesso entre contas.

Logs

• Exportação de logs de acesso: Exporte logs de acesso para um bucket especificado em tempo real ou quase real.

• Formato de log unificado: O formato de log é totalmente compatível com os logs padrão do OSS. Inclui um campo adicional BucketARN para identificar exclusivamente o recurso do bucket de vetores, simplificando a análise unificada de logs.

Compatibilidade com o protocolo S3 Vectors

Os buckets de vetores são compatíveis com o protocolo Amazon S3 Vectors. Utilize o cliente s3vectors no AWS SDK para acessar um bucket de vetores sem reescrever sua aplicação S3 Vectors existente. Basta apontar o endpoint para o nome de domínio de acesso do bucket de vetores. Para obter a lista de operações compatíveis e as diferenças em relação ao S3 Vectors, consulte Compatibility with Amazon S3.

Cotas e limites

O OSS Vectors possui certas cotas e limites. Ao projetar e implementar sua solução de armazenamento e recuperação vetorial, planeje o número de buckets, a escala dos índices, a estrutura de metadados e a estratégia de chamadas de API com base nos limites abaixo. Para solicitar aumento de qualquer uma das cotas seguintes, entre em contato com o Suporte Técnico.

• Uma única conta Alibaba Cloud pode criar no máximo 100 buckets de vetores por região.

• Um único bucket de vetores pode conter no máximo 100 índices de vetores.

Limites do Standard Mode

• Um único índice de vetores pode armazenar no máximo 2 bilhões de linhas de dados vetoriais.

• Dimensões vetoriais: 1 a 4.096.

• Faixa TopK para solicitações de recuperação vetorial: 1 a 500 por padrão.

• Tamanho total máximo de metadados (filtráveis e não filtráveis) para um único vetor: 200 KB.

• Tamanho máximo de um único campo de metadados filtráveis para um vetor: 2 KB.

• Número máximo de campos de metadados (filtráveis e não filtráveis) para um único vetor: 100.

• Metadados escalares suportam quatro tipos de dados: String, Number, Boolean e List.

• Ao usar metadados para filtrar vetores:

  • O comprimento acumulado de metadados filtráveis em uma única instrução de filtro não pode exceder 20 KB.

  • A quantidade de itens de metadados filtráveis em uma única instrução de filtro não pode exceder 1.024.

  • As condições de filtro suportam no máximo 8 níveis de aninhamento.

• Ao usar a operação QueryVectors ou ListVectors para filtragem escalar, há suporte para os seguintes operadores:

  • Igualdade: $eq, $ne

  • Intervalo: $gt, $gte, $lt, $lte

  • Inclusão: $in, $nin

  • Existência: $exists

  • Lógicos: $and, $or, $nor

• Para um único bucket, a operação PutVectorIndex é limitada a 5 chamadas por segundo.

• Para um único índice, a operação PutVectors tem limite de QPS (Consultas Por Segundo) de 1.000. Uma única solicitação simultânea pode gravar até 500 entradas por lote. O throughput total em todas as solicitações simultâneas não pode exceder 2.500 entradas por segundo. Por exemplo, se cada solicitação simultânea gravar 100 entradas em um lote, o QPS máximo de gravação suportado será 25 (2.500 / 100).

• O tamanho máximo do corpo da solicitação para a operação PutVectors é 20 MB.

• Para um único índice, o limite de QPS da operação QueryVectors é 100.

  • Nota: O QPS de recuperação depende de fatores como o número de vetores em um único índice, as dimensões vetoriais, o valor TopK e as condições de metadados escalares na consulta. Em uma configuração típica com 10 milhões de linhas de vetores de 1.024 dimensões e valor TopK de 100, o QPS de consulta geralmente atinge 100. Conforme o tamanho do índice ou o valor TopK aumentam, o QPS real de recuperação pode diminuir. O OSS Vectors não garante que o QPS atingirá 100. Realize testes com sua carga de trabalho para confirmar o desempenho real.

• O tamanho máximo de resposta para a operação QueryVectors é 8 MB.

• A operação ListVectorIndexes retorna no máximo 500 índices por página. Use paginação para recuperar o próximo lote de índices.

• A concorrência máxima para a operação ListVectors é 16.

Limites do Fusion Mode

• Os nomes dos campos devem ser únicos dentro de um único índice e ter entre 1 e 63 caracteres. Podem conter letras maiúsculas e minúsculas, dígitos e sublinhados (_), devendo começar com uma letra.

• Limites de contagem de campos: no máximo 100 campos no total, no máximo 3 campos vetoriais e no máximo 8 campos tokenizados. Outros campos escalares utilizam a cota restante. É necessário pelo menos um campo do tipo vetor.

• Campos escalares suportam os seguintes tipos: string, long, double, bool, ip e geoPoint.

• Para campos numéricos e IP (double, long, ip), o sinalizador isArray é false por padrão. Quando o modo array está ativado, um único array pode conter no máximo 128 elementos.

• Para campos string, quando o modo array está ativado, um único array pode conter no máximo 512 elementos, cada elemento string pode ter até 4 KB e todos os elementos do array podem totalizar até 64 KB. Um tokenizador personalizado pode usar os caracteres espaço, |, -, _ e , como delimitadores. Após a tokenização, cada token deve ter no máximo 4 KB; o servidor trunca qualquer excesso antes da indexação. Para detalhes sobre limites de campos string, consulte a documentação de schema para criação de índice.

• A operação PutVectors do Fusion Mode tem tamanho máximo de corpo de solicitação de 20 MB e limite de QPS de 1.000. Uma única solicitação simultânea pode gravar até 500 entradas por lote, e o throughput total em todas as solicitações simultâneas não pode exceder 2.500 entradas por segundo. Por exemplo, se cada solicitação simultânea gravar 100 entradas em um lote, o QPS máximo de gravação suportado será 25 (2.500 / 100).

• Limites para a operação de recuperação vetorial específica do Fusion Mode (QueryVectorsFusion):

  • Esta operação suporta três métodos de consulta:

    • O campo knn suporta busca vetorial pura e busca vetorial combinada com pré-filtragem:

      • Suporta consultas vetoriais de caminho único ou múltiplos caminhos, com no máximo 3 consultas KNN por solicitação.

      • O parâmetro topK pode ser de até 500.

      • O parâmetro numCandidates pode ser de até 1.000.

    • O campo query suporta busca escalar pura e busca de texto completo:

      • Cada operador lógico $and, $or ou $nor suporta no máximo 512 suboperadores e até 8 níveis de aninhamento.

      • $in e $nin suportam no máximo 1.024 elementos.

      • O texto de consulta para $textMatch e $textMatchPhrase pode ter até 512 bytes.

      • $geoPolygon suporta no máximo 16 pontos.

    • O campo retriever suporta consultas híbridas de múltiplos caminhos com fusão de resultados:

      • Quando retriever está presente, apenas os seguintes 5 parâmetros de nível superior são permitidos: indexName, limit, partitionKeys, returnMetadata e returnMetadataFields. Todos os outros parâmetros (incluindo knn, query, sort e nextToken) são proibidos.

      • O array retrievers deve conter pelo menos 1 e no máximo 3 elementos.

      • Para retrievers compostos (RRF Retriever e Weight Retriever), windowSize pode ser de até 500.

  • Outros limites para esta operação:

    • limit pode ser de até 500.

    • Uma única solicitação suporta no máximo 3 campos de ordenação. A ordenação baseada em pontuação suporta apenas ordem decrescente (desc).

    • A paginação com nextToken é permitida apenas quando a solicitação contém exclusivamente query (busca escalar e busca de texto completo). Busca vetorial (knn) e recuperação de múltiplos caminhos (retriever) não suportam paginação.

    • partitionKeys suporta no máximo 512 elementos, com todos os elementos totalizando até 4 KB.

    • returnMetadata é false por padrão, significando que nenhum campo é retornado. Defina como true para retornar todos os campos.

    • returnMetadataFields só tem efeito quando returnMetadata é true. Não pode retornar campos do tipo vetor. Definir como [] equivale a returnMetadata=false e não retorna nenhum campo; definir como null equivale a não especificar o parâmetro e retorna todos os campos.

    • O tamanho máximo de resposta é 8 MB.

• O Fusion Mode está atualmente em preview por convite e disponível apenas na região Indonesia (Jakarta). Algumas cotas e limites de API podem diferir do Standard Mode. Para detalhes, consulte a documentação da API.

Faturamento

O OSS Vectors iniciou oficialmente o faturamento comercial em 10 de junho de 2026 (UTC+8). Monitore suas faturas. Para mais informações sobre o método de faturamento, consulte Vector billing items. O Fusion Mode é atualmente gratuito durante o preview por convite.