Elasticsearch:Elasticsearch の kNN 検索機能の使用

パフォーマンスに関する考慮事項

近似 kNN 検索では、Hierarchical Navigable Small World (HNSW) グラフを用いて、セグメントごとに密ベクトルをインデックス化します。インデックス作成時の HNSW グラフ構築はリソースを多く消費します。安定したパフォーマンスを維持するには、以下の点に注意してください。

• ベクトルデータのインデックス作成時に、クライアントのタイムアウト期間を延長し、バルク書き込みリクエストをご利用ください。

• セグメント数を減らすか、すべてのセグメントを 1 つにマージすることで、検索速度を向上させます。

• データノードのメモリが、すべてのベクトルデータと HNSW インデックス構造の合計サイズを超えるようにしてください。

• 近似 kNN 検索を実行中の大規模な書き込みまたは更新操作は避けてください。

インデックスの作成

index: true を設定し、similarity パラメーターを指定して、dense_vector フィールドを定義します。

PUT image-index
{
  "mappings": {
    "properties": {
      "image-vector": {
        "type": "dense_vector",
        "dims": 3,
        "index": true,
        "similarity": "l2_norm"
      },
      "title": {
        "type": "text"
      },
      "file-type": {
        "type": "keyword"
      }
    }
  }
}

dense_vector フィールドのパラメーター

全パラメーターのリファレンスについては、「dense-vector」をご参照ください。

サポートされる類似度アルゴリズム

データの書き込み

POST image-index/_bulk?refresh=true
{ "index": { "_id": "1" } }
{ "image-vector": [1, 5, -20], "title": "ヘラジカの家族", "file-type": "jpg" }
{ "index": { "_id": "2" } }
{ "image-vector": [42, 8, -15], "title": "アルプスの湖", "file-type": "png" }
{ "index": { "_id": "3" } }
{ "image-vector": [15, 11, 23], "title": "満月", "file-type": "jpg" }

近似 kNN 検索の実行

Search API の knn パラメーターをご利用ください。kNN 検索 API は Elasticsearch V8.4 以降で非推奨となりました。

POST image-index/_search
{
  "knn": {
    "field": "image-vector",
    "query_vector": [-5, 9, -12],
    "k": 10,
    "num_candidates": 100
  },
  "fields": [ "title", "file-type" ]
}

kNN 検索のパラメーター

全パラメーターのリファレンスについては、「Search API」をご参照ください。

インデックスの作成

HNSW インデックスの構築をスキップするには、index: false（または空欄）を設定します。

PUT zl-index
{
  "mappings": {
    "properties": {
      "product-vector": {
        "type": "dense_vector",
        "dims": 5,
        "index": false
      },
      "price": {
        "type": "long"
      }
    }
  }
}

データの書き込み

POST zl-index/_bulk?refresh=true
{ "index": { "_id": "1" } }
{ "product-vector": [230.0, 300.33, -34.8988, 15.555, -200.0], "price": 1599 }
{ "index": { "_id": "2" } }
{ "product-vector": [-0.5, 100.0, -13.0, 14.8, -156.0], "price": 799 }
{ "index": { "_id": "3" } }
{ "product-vector": [0.5, 111.3, -13.0, 14.8, -156.0], "price": 1099 }

正確な kNN 検索の実行

ベクトル関数を含む script_score クエリーをご利用ください。以下の例では cosineSimilarity を使用し、ベクトル関数によって評価されるドキュメント数を制限するためにフィルターを適用しています。これにより、スキャンされるドキュメント数が減少し、パフォーマンスが向上します。

POST zl-index/_search
{
  "query": {
    "script_score": {
      "query": {
        "bool": {
          "filter": {
            "range": {
              "price": {
                "gte": 1000
              }
            }
          }
        }
      },
      "script": {
        "source": "cosineSimilarity(params.queryVector, 'product-vector') + 1.0",
        "params": {
          "queryVector": [-0.5, 90.0, -10, 14.8, -156.0]
        }
      }
    }
  }
}

サポートされるベクトル関数

全関数のリファレンスについては、「ベクトルフィールドの関数」をご参照ください。