Tablestore:Vector search

Escenarios

La búsqueda vectorial se aplica en sistemas de recomendación, recuperación de imágenes y videos, procesamiento de lenguaje natural y búsqueda semántica.

• Generación aumentada por recuperación (RAG)

  RAG es un framework de IA que combina la recuperación con modelos grandes de lenguaje (LLM) para mejorar la precisión de las salidas del LLM, especialmente con datos privados o profesionales. RAG se utiliza ampliamente en escenarios de base de conocimientos.

• Sistema de recomendación

  En plataformas de comercio electrónico, redes sociales y streaming, los comportamientos, preferencias y características de contenido de los usuarios se codifican en vectores. La búsqueda vectorial encuentra productos, artículos o videos coincidentes, lo que permite recomendaciones personalizadas que mejoran la satisfacción y retención de los usuarios.

• Detección de similitud (imágenes, videos y voz)

  En el reconocimiento de imágenes, videos, voz, huella vocal y facial, los datos no estructurados se convierten en representaciones vectoriales. La búsqueda vectorial encuentra los objetivos más similares. Por ejemplo, cuando un usuario carga una imagen en una plataforma de comercio electrónico, el sistema busca imágenes de productos con estilos, colores o patrones similares.

• Procesamiento de lenguaje natural y búsqueda semántica

  En el procesamiento de lenguaje natural (NLP), el texto se convierte en representaciones vectoriales como embeddings de Word2Vec o BERT. La búsqueda vectorial asocia la semántica de la consulta para encontrar los documentos, noticias o pares de preguntas y respuestas más relevantes, lo que mejora la pertinencia de los resultados de búsqueda y la experiencia del usuario.

• Grafo de conocimiento y chat de IA

  Los nodos y relaciones de un grafo de conocimiento pueden representarse como vectores. La búsqueda vectorial acelera la vinculación de entidades, la inferencia de relaciones y los tiempos de respuesta del chat de IA, lo que permite respuestas más precisas a preguntas complejas.

Ventajas principales

Descripción general de funciones

Una KnnVectorQuery encuentra los elementos de datos más similares en un conjunto de datos a gran escala al ejecutar una consulta de vecino más cercano aproximado sobre vectores numéricos.

La búsqueda vectorial hereda todas las funciones de un índice de búsqueda. Al ser un servicio listo para usar con modelo pay-as-you-go, no requiere despliegue del sistema. La construcción de índices basada en flujos permite consultar los datos casi en tiempo real después de su escritura. También admite adiciones, actualizaciones y eliminaciones con alto throughput, con un rendimiento de consulta comparable al de los sistemas basados en HNSW.

Para usar KnnVectorQuery, especifique el vector de consulta, el campo vectorial donde buscar y el número de vecinos más cercanos (TopK) por recuperar. La consulta devuelve los vectores TopK más similares al vector de consulta. Puede combinarla con otras funciones de búsqueda no vectorial para filtrar resultados según sea necesario.

Notas

Tenga en cuenta lo siguiente al utilizar la búsqueda vectorial:

• Existen límites aplicables al número de tipos de campos vectoriales, dimensiones y otras propiedades. Para obtener más información, consulte Search index limits.

• El índice de búsqueda se particiona en el lado del servidor. Cada partición devuelve sus propios vecinos más cercanos TopK, y los resultados se agregan posteriormente en el nodo cliente. Por lo tanto, si se usa un token para paginar todos los datos, el número total de filas devueltas depende del número de particiones del servidor.

• Actualmente, la función de búsqueda vectorial está disponible en las siguientes regiones: China (Hangzhou), China (Shanghai), China (Qingdao), China (Beijing), China (Zhangjiakou), China (Ulanqab), China (Shenzhen), China (Guangzhou), China (Chengdu), China (Hong Kong), Japan (Tokyo), Singapore, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Philippines (Manila), Thailand (Bangkok), Germany (Frankfurt), UK (London), US (Virginia), US (Silicon Valley), SAU (Riyadh - Partner Region).

Procedimiento

1. Generate vectors.

   Utilice modelos de código abierto para convertir los datos en Tablestore en vectores y almacenarlos.

2. Write vector data a Tablestore.

3. Cuando create a search index, configure el campo vectorial.

   Configure el tipo, las dimensiones y el algoritmo de medición de distancia del campo vectorial.

4. Use vector search para consultar datos.

Facturación

Durante la vista previa pública, no se le cobra por conceptos facturables específicos de la función de consulta vectorial KNN. Se le cobra por otros conceptos facturables según las reglas de facturación existentes.

Cuando utiliza un índice de búsqueda para consultar datos, se le cobra por el throughput de lectura consumido. Para obtener más información, consulte Billable items of search indexes.

Apéndice 1: Uso con BoolQuery

KnnVectorQuery y BoolQuery pueden combinarse de diferentes maneras. Los siguientes dos ejemplos asumen un escenario donde un filtro coincide con una pequeña cantidad de datos.

Suponga que una tabla contiene 100 millones de imágenes. Un usuario tiene 50,000 imágenes en total, pero solo 50 se agregaron en los últimos 7 días. El usuario desea encontrar las 10 imágenes más similares de entre las agregadas en los últimos 7 días mediante búsqueda por imagen. La siguiente tabla muestra cómo difieren estos dos métodos de combinación.

Apéndice 2: Ejemplo de normalización de vectores

El siguiente código normaliza un vector:

  public static float[] l2normalize(float[] v, boolean throwOnZero) {
    double squareSum = 0.0f;
    int dim = v.length;
    for (float x : v) {
      squareSum += x * x;
    }
    if (squareSum == 0) {
      if (throwOnZero) {
        throw new IllegalArgumentException("can't normalize a zero-length vector");
      } else {
        return v;
      }
    }
    double length = Math.sqrt(squareSum);
    for (int i = 0; i < dim; i++) {
      v[i] /= length;
    }
    return v;
  }