Le rappel par cluster de vecteurs sélectionne les clusters candidats avant la récupération des documents. Cette approche réduit la charge de lecture et de calcul et vous aide à maîtriser la latence des requêtes. Dans Alibaba Cloud Elasticsearch Agent Engine Edition, le rappel par cluster de vecteurs s'applique aux magasins de vecteurs à grande échelle ayant fait l'objet d'un clustering hors ligne. Un cluster de vecteurs est un groupe de documents aux vecteurs similaires ; un vecteur centroïde en représente les caractéristiques.
Scénarios
Exécutez le clustering hors ligne, assignez les clusters aux documents et maintenez les vecteurs centroïdes à mesure que vos données évoluent. Alibaba Cloud Elasticsearch Agent Engine Edition n'entraîne pas de modèles de clustering et ne détermine pas l'emplacement d'écriture en fonction des vecteurs des documents.
|
Condition métier |
Recommandation |
|
Le locataire, la base de connaissances ou le dépôt de code est connu avant la requête |
Utilisez le mode namespace pour spécifier directement le périmètre métier. |
|
Le clustering hors ligne est terminé, le cluster cible est inconnu avant la requête et le volume de données est important |
Utilisez le rappel par cluster de vecteurs pour sélectionner les clusters candidats en fonction du vecteur de requête. |
|
Il est impossible de maintenir des centroïdes de cluster fiables, ou le volume de données est faible et le coût d'une requête directe est acceptable |
Commencez par un index standard ou le mode namespace. Aucune gestion supplémentaire des clusters n'est requise. |
|
La requête doit couvrir toutes les données dans un périmètre donné |
Utilisez le mode namespace ou un index standard pour ce périmètre au lieu de vous fier à la sélection de clusters candidats. |
Limites
Les limites suivantes s'appliquent au rappel par cluster de vecteurs :
Mode Collection — Spécifiez le mode cluster de vecteurs lors de la création d'une Collection. Une Collection existante ne peut pas changer de mode.
Métrique de similarité des centroïdes — La sélection des clusters par vecteur centroïde utilise toujours la similarité cosinus. Les vecteurs de document peuvent utiliser la métrique de similarité requise par votre modèle.
Réduction du périmètre de requête
Dans le rappel par cluster de vecteurs, chaque cluster de vecteurs correspond à un Slice. Enregistrez le Slice et son vecteur centroïde, puis écrivez les documents dans ce Slice. Au moment de la requête, le système effectue une recherche approximative basée sur la similarité cosinus entre le vecteur de requête et les centroïdes des clusters afin de sélectionner les Slices candidats. Il exécute ensuite KNN uniquement au sein des Slices sélectionnés. Le caractère approximatif de cette recherche KNN dépend de la méthode de requête utilisée.
Les clusters non sélectionnés ne participent pas à la requête. Un nombre plus élevé de clusters candidats améliore généralement le rappel, mais augmente également la charge de lecture et de calcul. Déterminez le nombre de candidats en testant le rappel, la latence et l'utilisation des ressources sur vos données réelles.
Rappel par cluster de vecteurs et DiskBBQ
Le rappel par cluster de vecteurs et DiskBBQ opèrent à différents niveaux. Le rappel par cluster de vecteurs décide quels Slices accéder, tandis que Sliced DiskBBQ récupère les vecteurs de document au sein des Slices sélectionnés, ce qui réduit la charge de lecture et de calcul liée aux vecteurs non pertinents. DiskBBQ de base réduit l'empreinte mémoire résidente de la récupération de vecteurs. Pour plus de détails sur la répartition des responsabilités entre ces deux niveaux, consultez Récupération de vecteurs DiskBBQ et Sliced DiskBBQ.
Le rappel par cluster de vecteurs n'est pas une condition préalable à l'utilisation de DiskBBQ ou de KNN. Les index standards et le mode namespace prennent également en charge la récupération de vecteurs.
Étapes suivantes
Pour la configuration, l'enregistrement des vecteurs centroïdes et des exemples exécutables, consultez Référence du rappel par cluster de vecteurs.