Tablestore:Recherche vectorielle

Scénarios

La recherche vectorielle s'applique aux systèmes de recommandation, à la recherche d'images et de vidéos, au traitement du langage naturel ainsi qu'à la recherche sémantique.

• Génération augmentée par récupération (RAG)

  Le RAG est un framework d'IA qui combine la récupération d'informations avec les grands modèles de langage (LLM) afin d'améliorer la précision des résultats générés, en particulier pour les données privées ou professionnelles. Le RAG est largement utilisé dans les scénarios de bases de connaissances.

• Système de recommandation

  Sur les plateformes de commerce électronique, les réseaux sociaux et les services de streaming, les comportements des utilisateurs, leurs préférences et les caractéristiques du contenu sont encodés sous forme de vecteurs. La recherche vectorielle permet ensuite de trouver des produits, articles ou vidéos correspondants, offrant ainsi des recommandations personnalisées qui améliorent la satisfaction et la fidélisation des utilisateurs.

• Détection de similarité (images, vidéos et voix)

  Dans les domaines de la reconnaissance d'images, de vidéos, de la voix, des empreintes vocales et des visages, les données non structurées sont converties en représentations vectorielles. La recherche vectorielle identifie alors les cibles les plus similaires. Par exemple, lorsqu'un utilisateur télécharge une image sur une plateforme de e-commerce, le système recherche des images de produits présentant des styles, des couleurs ou des motifs similaires.

• Traitement du langage naturel et recherche sémantique

  En traitement du langage naturel (NLP), le texte est converti en représentations vectorielles telles que les embeddings Word2Vec ou BERT. La recherche vectorielle fait ensuite correspondre la sémantique de la requête pour trouver les documents, actualités ou paires questions-réponses les plus pertinents, améliorant ainsi la pertinence des résultats de recherche et l'expérience utilisateur.

• Graphe de connaissances et chatbot IA

  Les nœuds et les relations d'un graphe de connaissances peuvent être représentés sous forme de vecteurs. La recherche vectorielle accélère la liaison d'entités, l'inférence de relations et les temps de réponse des chatbots IA, permettant ainsi de fournir des réponses plus précises à des questions complexes.

Principaux avantages

Présentation des fonctionnalités

Une requête KnnVectorQuery identifie les éléments de données les plus similaires dans un ensemble de données volumineux en effectuant une requête de plus proche voisin approximatif sur des vecteurs numériques.

La recherche vectorielle hérite de toutes les fonctionnalités d'un index de recherche. En tant que service prêt à l'emploi et facturé au paiement à l'utilisation, elle ne nécessite aucun déploiement de système. La création d'index basée sur des flux permet d'interroger les données en quasi temps réel après leur écriture. Elle prend également en charge des ajouts, mises à jour et suppressions à haut débit, avec des performances de requête comparables à celles des systèmes basés sur HNSW.

Pour utiliser KnnVectorQuery, spécifiez le vecteur de requête, le champ vectoriel à rechercher et le nombre de plus proches voisins (TopK) à récupérer. La requête renvoie les vecteurs TopK les plus similaires au vecteur de requête. Vous pouvez la combiner avec d'autres fonctionnalités de recherche non vectorielle pour filtrer les résultats selon vos besoins.

Remarques

Tenez compte des points suivants lors de l'utilisation de la recherche vectorielle :

• Des limites s'appliquent au nombre de types de champs vectoriels, aux dimensions et à d'autres propriétés. Pour plus d'informations, consultez Limites de l'index de recherche.

• L'index de recherche est partitionné côté serveur. Chaque partition renvoie ses propres plus proches voisins TopK, et les résultats sont ensuite agrégés au niveau du nœud client. Par conséquent, si un jeton est utilisé pour paginer toutes les données, le nombre total de lignes renvoyées dépend du nombre de partitions côté serveur.

• Actuellement, la fonctionnalité de recherche vectorielle est disponible dans les régions suivantes : Chine (Hangzhou), Chine (Shanghai), Chine (Qingdao), Chine (Pékin), Chine (Zhangjiakou), Chine (Ulanqab), Chine (Shenzhen), Chine (Guangzhou), Chine (Chengdu), Chine (Hong Kong), Japon (Tokyo), Singapour, Malaisie (Kuala Lumpur), Indonésie (Jakarta), Philippines (Manille), Thaïlande (Bangkok), Allemagne (Francfort), Royaume-Uni (Londres), États-Unis (Virginie), États-Unis (Silicon Valley), Arabie saoudite (Riyad - Région partenaire).

Procédure

1. Générez des vecteurs.

   Utilisez des modèles open source pour convertir les données de Tablestore en vecteurs et les stocker.

2. Écrivez des données vectorielles dans Tablestore.

3. Lorsque vous créez un index de recherche, configurez le champ vectoriel.

   Configurez le type, les dimensions et l'algorithme de mesure de distance du champ vectoriel.

4. Utilisez la recherche vectorielle pour interroger les données.

Facturation

Pendant l'aperçu public, vous n'êtes pas facturé pour les éléments facturables spécifiques à la fonctionnalité de requête de vecteur KNN. Vous êtes facturé pour les autres éléments facturables selon les règles de facturation existantes.

Lorsque vous utilisez un index de recherche pour interroger des données, vous êtes facturé pour le débit de lecture consommé. Pour plus d'informations, consultez Éléments facturables des index de recherche.

Annexe 1 : Utilisation avec BoolQuery

KnnVectorQuery et BoolQuery peuvent être combinés de différentes manières. Les deux exemples suivants supposent un scénario où un filtre correspond à une petite quantité de données.

Supposons qu'une table contient 100 millions d'images. Un utilisateur possède au total 50 000 images, mais seulement 50 ont été ajoutées au cours des 7 derniers jours. L'utilisateur souhaite trouver les 10 images les plus similaires parmi celles ajoutées au cours des 7 derniers jours en utilisant la recherche par image. Le tableau suivant montre comment ces deux méthodes de combinaison diffèrent.

Annexe 2 : Exemple de normalisation de vecteur

Le code suivant normalise un vecteur :

  public static float[] l2normalize(float[] v, boolean throwOnZero) {
    double squareSum = 0.0f;
    int dim = v.length;
    for (float x : v) {
      squareSum += x * x;
    }
    if (squareSum == 0) {
      if (throwOnZero) {
        throw new IllegalArgumentException("can't normalize a zero-length vector");
      } else {
        return v;
      }
    }
    double length = Math.sqrt(squareSum);
    for (int i = 0; i < dim; i++) {
      v[i] /= length;
    }
    return v;
  }