Tablestore:KNN ベクトル検索

シナリオ

KNN ベクトル検索機能は、以下のシナリオに適しています。

• RAG

  RAG は、検索機能と大規模言語モデル（LLM）の機能を組み合わせた AI フレームワークであり、特に非公開データまたは専門データの分野において、LLM によって生成される出力の精度を向上させます。 RAG はナレッジベースで広く使用されています。

• レコメンデーションシステム

  KNN ベクトル検索は、e コマース、ソーシャルメディア、動画ストリーミングプラットフォームなどのプラットフォームで使用できます。 たとえば、プラットフォームは、ユーザーの行動、好み、コンテンツの特徴などのコンテンツをベクトルとしてエンコードし、ベクトルを保存できます。 その後、KNN ベクトル検索を使用して、ユーザーの興味に一致する製品、記事、または動画をすばやく見つけることができます。 この方法では、プラットフォームはカスタムレコメンデーションを提供して、ユーザーエクスペリエンスとロイヤルティを向上させることができます。

• 類似性検出

  画像認識、動画認識、音声認識、ボイスプリント認識、顔認識などのコンテンツ認識シナリオでは、非構造化データがベクトルに変換されて保存されます。 その後、システムは KNN ベクトル検索を使用して、最も類似したコンテンツをすばやく見つけます。 たとえば、ユーザーが商品の画像を e コマースプラットフォームにアップロードした後、システムはスタイル、色、またはパターンがアップロードされた画像に類似した商品の画像をすばやく見つけることができます。

• NLP とセマンティック検索

  NLP 分野では、Word2Vec や Transformers からの双方向エンコーダ表現（BERT）などの手法を使用して、テキストがベクトルに変換されます。 その後、KNN ベクトル検索を使用して、クエリ文のセマンティクスを理解し、ドキュメント、ニュース、Q&A ペアなど、セマンティック的に最も関連性の高いコンテンツを見つけます。 これにより、クエリ結果の関連性とユーザーエクスペリエンスが向上します。

• ナレッジグラフとインテリジェント Q&A

  ナレッジグラフ内のノードとノードの関係は、ベクトルで表すことができます。 その後、KNN ベクトル検索を使用して、エンティティリンキング、関係推論、およびインテリジェント Q&A システムの応答を高速化できます。 これにより、システムは質問を正確に理解し、複雑な質問への回答を提供できます。

メリット

機能

KNN ベクトル検索機能を使用して、ベクトルに基づいて近似近傍検索を実行できます。 この方法では、大規模なデータセット内で、検索するベクトルと最も類似性の高いデータ項目を見つけることができます。

KNN ベクトル検索は、検索インデックスのすべての機能を継承するすぐに使える機能です。 システムを構築またはデプロイすることなく、従量課金モードで KNN ベクトル検索機能を使用できます。 KNN ベクトル検索は、検索インデックスのストリーミングモードをサポートしています。 データは、テーブルに書き込まれた後、ほぼリアルタイムでクエリできます。 KNN ベクトル検索は、高スループットの挿入、更新、および削除操作もサポートしています。 クエリのパフォーマンスは、HNSW アルゴリズムを使用するシステムのパフォーマンスに匹敵します。

KNN ベクトル検索機能を使用する場合は、類似性をクエリするベクトル、クエリするベクトルフィールド、およびクエリするベクトルと最も類似性の高い上位 K 個のクエリ結果を指定する必要があります。 KNN ベクトル検索と組み合わせて他のクエリメソッドの機能を使用して、クエリ結果をフィルタリングすることもできます。

使用上の注意

KNN ベクタークエリ機能を使用する場合は、次の点に注意してください。

• ベクターフィールドの数と、ベクターフィールドの次元数には制限があります。詳細については、「検索インデックスの制限」をご参照ください。

• 検索インデックスサーバーには複数のパーティションがあります。検索インデックスサーバーの各パーティションは、クエリ対象のベクターに最も近い上位 K 個の近傍点を返します。パーティションによって返された上位 K 個の近傍点は、クライアントノードで集計されます。トークンを使用してすべてのデータをページごとにクエリする場合、レスポンスの合計行数は、検索インデックスサーバーのパーティション数に関連しています。

• KNN ベクタークエリ機能は、中国 (杭州)、中国 (上海)、中国 (青島)、中国 (北京)、中国 (張家口)、中国 (ウランチャブ)、中国 (深セン)、中国 (広州)、中国 (成都)、中国 (香港)、日本 (東京)、シンガポール、マレーシア (クアラルンプール)、インドネシア (ジャカルタ)、フィリピン (マニラ)、タイ (バンコク)、ドイツ (フランクフルト)、英国 (ロンドン)、米国 (バージニア)、米国 (シリコンバレー)、サウジアラビア (リヤド - パートナー地域) の各リージョンでサポートされています。

手順

1. ベクターを生成し、データを Tablestore に書き込みます。詳細については、「ベクターを生成する」をご参照ください。

   オープンソースモデル を使用して、Tablestore データをベクターに変換して保存します。

2. 検索インデックスを作成し、Vectorフィールドを指定します。詳細については、「検索インデックスを作成する」をご参照ください。

   検索インデックスを作成する際には、ベクトルフィールドのデータ型、ベクトルフィールドの次元数、およびベクトル間の距離を測定するために使用するアルゴリズムを指定します。

3. KNN ベクター検索機能を使用してデータをクエリします。詳細については、「KNN ベクター検索を使用する」をご参照ください。

請求ルール

パブリックプレビュー期間中は、KNN ベクタークエリ機能を使用する場合、この機能に固有の課金対象項目については課金されません。その他の課金対象項目については、既存の請求ルールに基づいて課金されます。

検索インデックスを使用してデータをクエリする場合、消費された読み取りスループットに対して課金されます。詳細については、「検索インデックスの課金対象項目」をご参照ください。

付録 1：KNN ベクター検索とブール検索の組み合わせ

KNN ベクター検索とブール検索は、さまざまな組み合わせで使用できます。クエリのパフォーマンスは、使用する組み合わせによって異なります。このセクションの例では、少量のデータがフィルター条件を満たしています。

この例では、1 億枚の画像がテーブルに保存されており、50,000 枚の画像がユーザー A に属しています。 50,000 枚の画像のうち、50 枚の画像は過去 7 日間に保存されています。ユーザー A は、50 枚の画像の中で、指定された画像と最も類似度の高い 10 枚の画像を検索したいと考えています。次の表は、ユーザー A がクエリ要件を満たすために使用できる KNN ベクター検索とブール検索の 2 つの一般的な組み合わせについて説明しています。

付録 2：ベクター正規化のサンプル

次のサンプルコードは、ベクターを正規化する方法の例を示しています。

  public static float[] l2normalize(float[] v, boolean throwOnZero) {
    double squareSum = 0.0f;
    int dim = v.length;
    for (float x : v) {
      squareSum += x * x;
    }
    if (squareSum == 0) {
      if (throwOnZero) {
        // ゼロ長のベクターは正規化できません。
        throw new IllegalArgumentException("can't normalize a zero-length vector");
      } else {
        return v;
      }
    }
    double length = Math.sqrt(squareSum);
    for (int i = 0; i < dim; i++) {
      v[i] /= length;
    }
    return v;
  }