Elasticsearch:Utiliser la fonctionnalité de recherche des k plus proches voisins (kNN) d'Elasticsearch

Considérations relatives aux performances

La recherche kNN approximative utilise des graphes HNSW (Hierarchical Navigable Small World) pour indexer les vecteurs denses par segment. La construction des graphes HNSW lors de l'indexation consomme beaucoup de ressources. Pour maintenir des performances stables :

• Augmentez le délai d'expiration du client et utilisez des requêtes d'écriture en bloc lors de l'indexation des données vectorielles.

• Réduisez le nombre de segments ou fusionnez tous les segments en un seul afin d'améliorer la vitesse de recherche.

• Vérifiez que la mémoire des nœuds de données dépasse la taille combinée de toutes les données vectorielles et des structures d'index HNSW.

• Évitez les opérations d'écriture ou de mise à jour volumineuses pendant l'exécution d'une recherche kNN approximative.

Créer un index

Définissez index: true et configurez le paramètre similarity lors de la définition des champs dense_vector.

PUT image-index
{
  "mappings": {
    "properties": {
      "image-vector": {
        "type": "dense_vector",
        "dims": 3,
        "index": true,
        "similarity": "l2_norm"
      },
      "title": {
        "type": "text"
      },
      "file-type": {
        "type": "keyword"
      }
    }
  }
}

Paramètres du champ dense_vector

Pour la référence complète des paramètres, consultez dense-vector.

Algorithmes de similarité pris en charge

Écrire des données

POST image-index/_bulk?refresh=true
{ "index": { "_id": "1" } }
{ "image-vector": [1, 5, -20], "title": "moose family", "file-type": "jpg" }
{ "index": { "_id": "2" } }
{ "image-vector": [42, 8, -15], "title": "alpine lake", "file-type": "png" }
{ "index": { "_id": "3" } }
{ "image-vector": [15, 11, 23], "title": "full moon", "file-type": "jpg" }

Exécuter une recherche kNN approximative

Utilisez le paramètre knn dans l'API Search. L'API de recherche kNN est dépréciée depuis Elasticsearch V8.4 et les versions ultérieures.

POST image-index/_search
{
  "knn": {
    "field": "image-vector",
    "query_vector": [-5, 9, -12],
    "k": 10,
    "num_candidates": 100
  },
  "fields": [ "title", "file-type" ]
}

Paramètres de recherche kNN

Pour la référence complète des paramètres, consultez Search API.

Créer un index

Définissez index: false (ou laissez vide) pour éviter la construction d'un index HNSW.

PUT zl-index
{
  "mappings": {
    "properties": {
      "product-vector": {
        "type": "dense_vector",
        "dims": 5,
        "index": false
      },
      "price": {
        "type": "long"
      }
    }
  }
}

Écrire des données

POST zl-index/_bulk?refresh=true
{ "index": { "_id": "1" } }
{ "product-vector": [230.0, 300.33, -34.8988, 15.555, -200.0], "price": 1599 }
{ "index": { "_id": "2" } }
{ "product-vector": [-0.5, 100.0, -13.0, 14.8, -156.0], "price": 799 }
{ "index": { "_id": "3" } }
{ "product-vector": [0.5, 111.3, -13.0, 14.8, -156.0], "price": 1099 }

Exécuter une recherche kNN exacte

Utilisez la requête script_score avec une fonction vectorielle. L'exemple ci-dessous utilise cosineSimilarity et applique un filtre pour limiter les documents évalués par la fonction vectorielle ; réduire le nombre de documents analysés améliore les performances.

POST zl-index/_search
{
  "query": {
    "script_score": {
      "query": {
        "bool": {
          "filter": {
            "range": {
              "price": {
                "gte": 1000
              }
            }
          }
        }
      },
      "script": {
        "source": "cosineSimilarity(params.queryVector, 'product-vector') + 1.0",
        "params": {
          "queryVector": [-0.5, 90.0, -10, 14.8, -156.0]
        }
      }
    }
  }
}

Fonctions vectorielles prises en charge

Pour la référence complète des fonctions, consultez Functions for vector fields.