Indexe dados do OSS para localizar rapidamente imagens, vídeos, documentos e áudios por metadados ou conteúdo semântico.
Por que usar a indexação de dados
A indexação de dados supera as limitações dos métodos tradicionais de recuperação:
|
Recuperação tradicional |
Indexação de dados do OSS |
|
Operações complexas: Exige iterar objetos com ListObjects e criar um banco de dados de metadados personalizado. |
Facilidade de uso: Dispensa migração de dados ou sistema de pesquisa personalizado. Consulte e analise dados diretamente pelos índices que o OSS cria automaticamente. |
|
Baixo desempenho de recuperação: Lento e ineficiente em grande escala. |
Recuperação de alto desempenho: Indexa e agrega dezenas de bilhões de objetos em menos de um segundo. |
|
Capacidades de pesquisa limitadas: Suporta apenas pesquisas baseadas em metadados do OSS. |
Suporte multimodal: Permite pesquisa semântica e análise de características de objetos em diversos tipos de conteúdo. |
Métodos de recuperação de dados compatíveis
O OSS oferece dois métodos de recuperação: MetaSearch e AISearch.
|
Item |
MetaSearch |
AISearch |
|
Descrição |
Consulta objetos por atributos de metadados, incluindo metadados do OSS, ETags e tags de objeto. |
Converte documentos, imagens, vídeos e áudios em vetores e recupera objetos por similaridade semântica. |
|
Casos de uso |
Pesquisa de objetos e estatísticas. |
Pesquisa multimodal e recuperação complexa de objetos. |
|
Exemplo de consulta |
Pesquise objetos enviados em 14 de setembro de 2024, com ACL privada e classe de armazenamento Standard. O painel OSS Metadata filtra por storage class, ACL, Object Name, Upload Type, Last Modified Time, Object Size e Version. |
Pesquise imagens relacionadas a "maçã". Insira "maçã" no campo Semantic Content (tag de IA) e selecione Image em Multimedia Metadata. Refine a busca com OSS Metadata: storage class, ACL, Object Name (suporta curinga), Upload Type, Last Modified Time, Object Size e Object Version. |
|
Exemplo de resultado |
Retorna uma lista de objetos enviados em 14 de setembro de 2024, com ACL privada e classe de armazenamento Standard. A consulta retorna três objetos: |
Retorna uma lista de objetos de imagem relacionados a "maçã". Por exemplo, o objeto |
Escolha um método de recuperação de dados
Comparação dos critérios de pesquisa
|
Critério de pesquisa |
MetaSearch |
AISearch |
|
Metadados do OSS |
✅ |
✅ |
|
Tags de objeto e ETags |
✅ |
✅ |
|
Metadados do usuário |
❌ |
✅ |
|
Metadados multimídia |
❌ |
✅ |
|
Conteúdo semântico |
❌ |
✅ |
Todos os campos de metadados compatíveis com o MetaSearch estão listados em Apêndice: Lista de campos e operadores do MetaSearch.
Todos os campos de metadados compatíveis com o AISearch estão listados em Apêndice: Lista de campos e operadores do AISearch.
Casos de uso recomendados
-
Estatísticas para otimização de custos
Use metadados como timestamps para identificar dados não utilizados ou frios e otimizar os custos de armazenamento.
Recomendado: MetaSearch.
-
Validação de dados
Após processar ou limpar dados, compare métricas como volume de dados e tamanho do objeto para verificar os resultados.
Recomendado: MetaSearch.
-
Auditoria de dados
Combine metadados e conteúdo semântico para auditar a conformidade do conteúdo dos objetos.
Recomendado: AISearch.
-
Pesquisa multimodal
Recupere objetos por dados multimídia e conteúdo semântico — ideal para históricos de chat, bibliotecas de ativos de mídia e pesquisa semântica.
Recomendado: AISearch.
Como funciona
Funcionamento do MetaSearch
Um aplicativo envia objetos — como imagens, vídeos, documentos e áudios — para um bucket do OSS.
Um usuário do RAM com permissões de gerenciamento do OSS ativa a indexação de dados e seleciona MetaSearch.
O OSS cria automaticamente um índice de dados com o esquema padrão, contendo metadados do OSS, ETags e tags de objeto.
O aplicativo chama a API DoMetaQuery para consultar objetos por atributos de metadados.
O OSS retorna os objetos correspondentes às condições da consulta.
Funcionamento do AISearch
Um aplicativo envia objetos — como imagens, vídeos, documentos e áudios — para um bucket do OSS.
Um usuário do RAM com permissões de gerenciamento do OSS ativa a indexação de dados e seleciona AISearch.
O OSS cria automaticamente um índice de dados com o esquema padrão e um modelo de embedding, contendo metadados do OSS, ETags, tags de objeto, metadados do usuário, metadados multimídia e conteúdo semântico.
O aplicativo chama a API DoMetaQuery para consultar objetos por atributos de metadados e conteúdo semântico.
O OSS retorna os objetos correspondentes às condições da consulta.
Primeiros passos
Comece a usar o MetaSearch e o AISearch:
Usar o MetaSearch para pesquisar objetos do OSS por atributos de metadados
Usar o AISearch para pesquisar objetos rapidamente com conteúdo semântico e metadados multimídia
Tutoriais para casos de uso específicos:
Cenário de estatísticas: Tutorial: Usar a indexação de dados do OSS para estatísticas de dados em grande escala
Cenário de pesquisa multimodal: Tutorial: Pesquisa multimodal com indexação de dados do OSS
Cenário de pesquisa inteligente de vídeo: Tutorial: Criar um sistema inteligente de pesquisa semântica para dispositivos IPC
Referência de desempenho
Após a ativação, a indexação de dados cria e atualiza continuamente o índice de metadados com capacidade de consulta dedicada (QPS).
MetaSearch e AISearch diferem no tempo de criação do índice, latência de atualização e limites de QPS: