Indexe dados do OSS para localizar rapidamente imagens, vídeos, documentos e áudios por metadados ou conteúdo semântico.
Por que usar a indexação de dados
A indexação de dados supera as limitações dos métodos tradicionais de recuperação:
|
Recuperação tradicional |
Indexação de dados do OSS |
|
Operações complexas: Exige iterar objetos com ListObjects e criar um banco de dados de metadados personalizado. |
Facilidade de uso: Dispensa migração de dados ou sistema de busca personalizado. Consulte e analise dados diretamente pelos índices gerados automaticamente pelo OSS. |
|
Baixo desempenho na recuperação: Lento e ineficiente em grande escala. |
Recuperação de alto desempenho: Indexação e agregação em menos de um segundo para dezenas de bilhões de objetos. |
|
Capacidades de busca limitadas: Suporta apenas buscas baseadas em metadados do OSS. |
Suporte multimodal: Busca semântica e análise de características de objetos em diversos tipos de conteúdo. |
Métodos de recuperação de dados compatíveis
O OSS oferece dois métodos de recuperação: MetaSearch e AISearch.
|
Item |
MetaSearch |
AISearch |
|
Descrição |
Consulta objetos por atributos de metadados, incluindo metadados do OSS, ETags e tags de objeto. |
Converte documentos, imagens, vídeos e áudios em vetores e recupera objetos por similaridade semântica. |
|
Casos de uso |
Busca e estatísticas de objetos. |
Busca multimodal e recuperação complexa de objetos. |
|
Exemplo de consulta |
Buscar objetos enviados em 14 de setembro de 2024, com ACL privado e classe de armazenamento Standard. O painel OSS Metadata filtra por storage class, ACL, Object Name, Upload Type, Last Modified Time, Object Size e Version. |
Buscar imagens relacionadas a "maçã". Insira "maçã" no campo Semantic Content (tag de IA) e selecione Image em Multimedia Metadata. Refine a busca com OSS Metadata: storage class, ACL, Object Name (suporta caractere curinga), Upload Type, Last Modified Time, Object Size e Object Version. |
|
Exemplo de resultado |
Retorna uma lista de objetos enviados em 14 de setembro de 2024, com ACL privado e classe de armazenamento Standard. A consulta retorna três objetos: |
Retorna uma lista de objetos de imagem relacionados a "maçã". Por exemplo, o objeto |
Escolha um método de recuperação de dados
Um bucket pode ter o MetaSearch ou o AISearch ativado, mas não ambos simultaneamente.
Comparação dos critérios de busca
|
Critérios de busca |
MetaSearch |
AISearch |
|
Metadados do OSS |
✅ |
✅ |
|
Tags de objeto e ETags |
✅ |
✅ |
|
Metadados do usuário |
❌ |
✅ |
|
Metadados multimídia |
❌ |
✅ |
|
Conteúdo semântico |
❌ |
✅ |
Consulte a lista completa de campos de metadados compatíveis com o MetaSearch em Appendix: List of fields and operators for MetaSearch.
Consulte a lista completa de campos de metadados compatíveis com o AISearch em Appendix: List of AISearch fields and operators.
Casos de uso recomendados
-
Estatísticas para otimização de custos
Use metadados como timestamps para identificar dados não utilizados ou frios e otimizar os custos de armazenamento.
Recomendado: MetaSearch.
-
Validação de dados
Após o processamento ou limpeza de dados, compare métricas como volume de dados e tamanho de objetos para verificar os resultados.
Recomendado: MetaSearch.
-
Auditoria de dados
Combine metadados e conteúdo semântico para auditar a conformidade do conteúdo dos objetos.
Recomendado: AISearch.
-
Busca multimodal
Recupere objetos por dados multimídia e conteúdo semântico — ideal para históricos de chat, bibliotecas de ativos de mídia e busca semântica.
Recomendado: AISearch.
Como funciona
Funcionamento do MetaSearch
Uma aplicação envia objetos — como imagens, vídeos, documentos e áudios — para um bucket do OSS.
Um usuário do RAM com permissões de gerenciamento do OSS ativa a indexação de dados e seleciona o MetaSearch.
O OSS cria automaticamente um índice de dados usando o esquema padrão, contendo metadados do OSS, ETags e tags de objeto.
A aplicação chama a API DoMetaQuery para consultar objetos por atributos de metadados.
O OSS retorna os objetos correspondentes às condições da consulta.
Funcionamento do AISearch
Uma aplicação envia objetos — como imagens, vídeos, documentos e áudios — para um bucket do OSS.
Um usuário do RAM com permissões de gerenciamento do OSS ativa a indexação de dados e seleciona o AISearch.
O OSS cria automaticamente um índice de dados usando o esquema padrão e um modelo de embedding, contendo metadados do OSS, ETags, tags de objeto, metadados do usuário, metadados multimídia e conteúdo semântico.
A aplicação chama a API DoMetaQuery para consultar objetos por atributos de metadados e conteúdo semântico.
O OSS retorna os objetos correspondentes às condições da consulta.
Primeiros passos
Comece a usar o MetaSearch e o AISearch:
Use MetaSearch to search for OSS objects by metadata attributes
Use AISearch to quickly search for objects using semantic content and multimedia metadata
Tutoriais para casos de uso específicos:
Cenário de estatísticas: Tutorial: Use OSS data indexing for large-scale data statistics
Cenário de busca multimodal: Tutorial: Multimodal search with OSS data indexing
Cenário de busca inteligente de vídeo: Tutorial: Build a smart semantic search system for IPC devices
Referência de desempenho
Após a ativação, a indexação de dados cria e atualiza continuamente o índice de metadados com capacidade de consulta dedicada (QPS).
O MetaSearch e o AISearch diferem no tempo de criação do índice, na latência de atualização e nos limites de QPS: