Search OSS objects by metadata and semantic content - Object Storage Service

Indexe los datos de OSS para encontrar rápidamente imágenes, videos, documentos y archivos de audio mediante metadatos o contenido semántico.

¿Por qué usar la indexación de datos?

Los métodos de recuperación tradicionales presentan limitaciones que la indexación de datos resuelve:

Recuperación tradicional	Indexación de datos de OSS
Operaciones complejas: requiere iterar sobre los objetos con ListObjects y construir una base de datos de metadatos personalizada.	Fácil de usar: no requiere migración de datos ni un sistema de búsqueda personalizado. Consulte y analice los datos directamente a través de índices que OSS construye automáticamente.
Bajo rendimiento de recuperación: lento e ineficiente a gran escala.	Recuperación de alto rendimiento: indexación y agregación en menos de un segundo entre decenas de miles de millones de objetos.
Capacidades de búsqueda limitadas: solo admite búsquedas basadas en metadatos de OSS.	Compatibilidad multimodal: búsqueda semántica y análisis de funciones de objetos en distintos tipos de contenido.

OSS admite dos métodos de recuperación: MetaSearch y AISearch.

Elemento	MetaSearch	AISearch
Descripción	Consulta objetos por atributos de metadatos, incluidos los metadatos de OSS, los ETags y las etiquetas de objeto.	Convierte documentos, imágenes, videos y archivos de audio en vectores; después recupera los objetos por similitud semántica.
Casos de uso	Búsqueda y estadísticas de objetos.	Búsqueda multimodal y recuperación compleja de objetos.
Consulta de ejemplo	Busque objetos cargados el 14 de septiembre de 2024, con una ACL privada y la clase de almacenamiento Standard. El panel OSS Metadata filtra por storage class, ACL, Object Name, Upload Type, Last Modified Time, Object Size y Version.	Busque imágenes relacionadas con "manzana". Introduzca "manzana" en el campo Semantic Content (etiqueta de IA) y seleccione Image en Multimedia Metadata. Filtre aún más con OSS Metadata: storage class, ACL, Object Name (admite comodines), Upload Type, Last Modified Time, Object Size y Object Version.
Resultado de ejemplo	Devuelve una lista de objetos cargados el 14 de septiembre de 2024, con una ACL privada y la clase de almacenamiento Standard. La consulta devuelve tres objetos: `demo.mov` (105.5 MB), `demo.pdf` (1.39 MB) y `demo.png` (230.16 KB).	Devuelve una lista de objetos de imagen relacionados con "manzana". Por ejemplo, se devuelve el objeto `multimodal/apple.jpg`.

Un bucket puede tener habilitado MetaSearch o AISearch, pero no ambos al mismo tiempo.

Todos los campos de metadatos compatibles con MetaSearch se enumeran en Appendix: List of fields and operators for MetaSearch.
Todos los campos de metadatos compatibles con AISearch se enumeran en Appendix: List of AISearch fields and operators.

Estadísticas de optimización de costos

Utilice metadatos como marcas de tiempo para identificar datos sin uso o datos fríos y optimizar los costos de almacenamiento.

Recomendado: MetaSearch.
Validación de datos

Después de procesar o limpiar los datos, compare métricas como el volumen de datos y el tamaño del objeto para comprobar los resultados.

Recomendado: MetaSearch.
Auditoría de datos

Combine metadatos y contenido semántico para auditar el cumplimiento normativo del contenido de los objetos.

Recomendado: AISearch.
Búsqueda multimodal

Recupere objetos por datos multimedia y contenido semántico. Este método es ideal para historiales de chat, bibliotecas de recursos multimedia y búsquedas semánticas.

Recomendado: AISearch.

Una aplicación carga objetos —como imágenes, videos, documentos y archivos de audio— en un bucket de OSS.
Un usuario de RAM con permisos de administración de OSS habilita la indexación de datos y selecciona MetaSearch.
OSS crea automáticamente un índice de datos con el esquema predeterminado, que contiene metadatos de OSS, ETags y etiquetas de objeto.
La aplicación llama a la API DoMetaQuery para consultar objetos por atributos de metadatos.
OSS devuelve los objetos que coinciden con las condiciones de la consulta.

Una aplicación carga objetos —como imágenes, videos, documentos y archivos de audio— en un bucket de OSS.
Un usuario de RAM con permisos de administración de OSS habilita la indexación de datos y selecciona AISearch.
OSS crea automáticamente un índice de datos con el esquema predeterminado y un modelo de embedding, que contiene metadatos de OSS, ETags, etiquetas de objeto, metadatos de usuario, metadatos multimedia y contenido semántico.
La aplicación llama a la API DoMetaQuery para consultar objetos por atributos de metadatos y contenido semántico.
OSS devuelve los objetos que coinciden con las condiciones de la consulta.

Comience a trabajar con MetaSearch y AISearch:

Tutoriales para casos de uso específicos:

Una vez habilitada, la indexación de datos construye y actualiza continuamente el índice de metadatos con capacidad de consulta dedicada (QPS).

MetaSearch y AISearch difieren en el tiempo de construcción del índice, la latencia de actualización y los límites de QPS: