Elasticsearch:Elasticsearch の kNN 検索機能を使用する

前提条件

• Alibaba Cloud Elasticsearch V8.X クラスタが作成されていること。この例では、Alibaba Cloud Elasticsearch V8.5.1 クラスタが作成されています。詳細については、「Alibaba Cloud Elasticsearch クラスタを作成する」をご参照ください。
• ビジネスデータがベクトルデータに変換され、ベクトルデータが dense_vector タイプのフィールドに格納されていること。類似性メトリックに基づいてベクトルを設計できます。ドキュメントのベクトルがクエリベクトルに近いほど、ベクトルの類似度は高くなります。

注意事項

• ベクトルデータは、dense_vector タイプのフィールドに格納する必要があります。 dense_vector タイプのフィールドは、集計または並べ替え操作をサポートしていません。
• ネストされたタイプのフィールドは、近似 kNN 検索をサポートしていません。
• クロス クラスタ検索シナリオで kNN 検索機能を使用する場合、ccs_minimize_roundtrips パラメータはサポートされていません。
• デフォルトでは、kNN 検索は dfs_query_then_fetch 検索タイプを使用します。 kNN 検索機能を使用して検索を実行する場合、search_type パラメータを明示的に構成することはできません。

kNN 検索でサポートされている検索方法

近似 kNN 検索

パフォーマンスの最適化

インデックスの作成

PUT image-index
{
  "mappings": {
    "properties": {
      "image-vector": {
        "type": "dense_vector",
        "dims": 3,
        "index": true,
        "similarity": "l2_norm" // 類似度計算アルゴリズムを指定します。
      },
      "title": {
        "type": "text"
      },
      "file-type": {
        "type": "keyword"
      }
    }
  }
}

データの書き込み

POST image-index/_bulk?refresh=true
{ "index": { "_id": "1" } }
{ "image-vector": [1, 5, -20], "title": "moose family", "file-type": "jpg" } // ベクトルデータ、タイトル、ファイルタイプを書き込みます。
{ "index": { "_id": "2" } }
{ "image-vector": [42, 8, -15], "title": "alpine lake", "file-type": "png" } // ベクトルデータ、タイトル、ファイルタイプを書き込みます。
{ "index": { "_id": "3" } }
{ "image-vector": [15, 11, 23], "title": "full moon", "file-type": "jpg" } // ベクトルデータ、タイトル、ファイルタイプを書き込みます。

近似 kNN 検索の実行

POST image-index/_search
{
  "knn": {
    "field": "image-vector", // 検索対象のベクトルフィールド名を指定します。
    "query_vector": [-5, 9, -12], // クエリベクトルを指定します。
    "k": 10, // 返す最近傍の数を指定します。
    "num_candidates": 100 // シャードごとに検索する必要がある最近傍候補の数を指定します。
  },
  "fields": [ "title", "file-type" ] // 返すフィールドを指定します。
}

正確な kNN 検索

インデックスの作成

PUT zl-index
{
  "mappings": {
    "properties": {
      "product-vector": {
        "type": "dense_vector",
        "dims": 5,
        "index": false
      },
      "price": {
        "type": "long"
      }
    }
  }
}

データの書き込み

POST zl-index/_bulk?refresh=true
{ "index": { "_id": "1" } }
{ "product-vector": [230.0, 300.33, -34.8988, 15.555, -200.0], "price": 1599 }
{ "index": { "_id": "2" } }
{ "product-vector": [-0.5, 100.0, -13.0, 14.8, -156.0], "price": 799 }
{ "index": { "_id": "3" } }
{ "product-vector": [0.5, 111.3, -13.0, 14.8, -156.0], "price": 1099 }

正確な kNN 検索の実行

POST zl-index/_search
{
  "query": {
    "script_score": {
      "query" : {
        "bool" : {
          "filter" : {
            "range" : {
              "price" : {
                "gte": 1000
              }
            }
          }
        }
      },
      "script": {
        "source": "cosineSimilarity(params.queryVector, 'product-vector') + 1.0",
        "params": {
          "queryVector": [-0.5, 90.0, -10, 14.8, -156.0]
        }
      }
    }
  }
}