OpenSearch:ベクトルインデックスのストレステスト

準備

• Virtual Private Cloud (VPC) 環境でのテストの実施をお勧めします。

  • VPC の詳細については、「VPC とは」をご参照ください。

  • インターネット経由でストレステストを実行する方法の詳細については、「パブリックアクセスホワイトリストを設定する」をご参照ください。

• gist-960-euclidean データセットをダウンロードします。

  • https://github.com/erikbern/ann-benchmarks

• http://corpus-texmex.irisa.fr/

パッケージを解凍し、gist_base.fvecs ファイルを使用します。

• Python 3 と関連ライブラリをインストールします。

h5py
json
numpy
sklearn
alibabacloud_ha3engine_vector

データの生成

• prepare_data.py を実行します。このスクリプトは、.hdf5、.fvecs、.bvecs、および .ivecs 形式のベクトルデータをサポートしています。この例では、.hdf5 を使用します。

python3 prepare_data.py -i ./gist-960-euclidean.hdf5 

• スクリプトディレクトリの data/ サブディレクトリを表示します。

  • gist-960-euclidean.hdf5.data が生成されます。

  • データ行数を確認します。

wc -l data/gist-960-euclidean.hdf5.data

1000000 gist-960-euclidean.hdf5.data

OpenSearch Vector Search Edition インスタンスを購入する

詳細については、「OpenSearch Vector Search Edition インスタンスを購入する」をご参照ください。

テーブルを作成する

参照:

• MaxCompute データソースのテーブルを作成する

• API データソースのテーブルを作成する

• OSS データソースのテーブルを作成する

• Data Lake Formation (DLF)

クエリを生成する

• prepare_query.py スクリプトを実行して、生データからランダムにクエリを生成します。

python3 prepare_query.py -i gist-960-euclidean.hdf5 -c 10000 -t gist

• data/ サブディレクトリに生成された query.data ファイルを取得します。

wrk を使用したストレステスト

• wrk は、オープンソースの HTTP リクエストストレステストツールです。

• https://github.com/wg/wrk から wrk をダウンロードします。

git clone https://github.com/wg/wrk.git

• ストレステスト用に search.lua を実行します。

  • スクリプトを wrk/scripts/ ディレクトリにコピーします。

cp search.lua wrk/scripts/

• 署名を計算し、request メソッドの header["Authorization"] を変更します。

-- 実行中、wrk はランダムにクエリを選択して特定のリクエストを構築します
request = function ()
  local query = query_table[count]
  count = (count + 1)%query_count
  local headers = {}
  headers["Authorization"] = "Basic xxxx" -- 署名情報
  headers["Content-Type"] = "application/json"
  return wrk.format("POST", nil, headers, query)
end

• ストレステストを実行します。

  • -c: 同時接続数。

  • -t: リクエストを送信するためのスレッド数。

  • -d: ストレステストの指定期間。

  • -s: 指定されたスクリプト。

  • --latency: 詳細なストレステスト結果を表示します。

./wrk -c24 -d100s -t8 -s scripts/search.lua http://ha-cn-xxxxxx.ha.aliyuncs.com/vector-service/query --latency

メトリックを表示する

• 取得率や応答時間などのメトリックを表示します。

  詳細については、「RAM ユーザーにインスタンス監視メトリックの表示を承認する」をご参照ください。

スクリプトのダウンロードリンク

• prepare_data.py

• push_data.py

• prepare_query.py

• search.lua

パフォーマンステストデータ

以下は、第 8 世代マシンを使用した Vector Search Edition の ANN_GIST1M 960 次元データセットでの結果です。