OpenSearch:ベクトルインデックスの高度な構成

パラメータ

有効な値

説明

dimension

1より大きい整数

ベクトルの次元。

distance_type

• SquareEuclidean

• InnerProduct

ベクトルの距離タイプ。

vector_index_type

• Qc

• HNSW

• Linear

ベクトルインデックスの構築に使用されるアルゴリズム。

enable_rt_build

• true

• false

リアルタイムインデックスを有効にするかどうかを指定します。true の値は、リアルタイムインデックスが有効になっていることを指定します。

rt_index_params

デフォルト値

{
  "proxima.oswg.streamer.segment_size": 2048
}

リアルタイムインデックスのパラメータ。

build_index_params

デフォルト値

{
  "proxima.qc.builder.quantizer_class": "Int8QuantizerConverter",
  "proxima.qc.builder.quantize_by_centroid": true,
  "proxima.qc.builder.optimizer_class": "BruteForceBuilder",
  "proxima.qc.builder.thread_count": 10,
  "proxima.qc.builder.optimizer_params": {
    "proxima.linear.builder.column_major_order": true
  },
  "proxima.qc.builder.store_original_features": false,
  "proxima.qc.builder.train_sample_count": 3000000,
  "proxima.qc.builder.train_sample_ratio": 0.5
}

builder_name パラメータに指定したビルダータイプに対して構成するパラメータ。

search_index_params

デフォルト値

{"proxima.qc.searcher.scan_ratio":0.01}

searcher_name パラメータに指定したサーチャータイプに対して構成するパラメータ。

embedding_delimiter

デフォルト値はカンマ (,) です。このパラメータの値はカスタマイズできます。

ベクトルの区切り文字。

major_order

• col

• row

データ保存モード。

linear_build_threshold

デフォルト値: 5000.

LinearBuilder を使用しない操作のしきい値。ドキュメント数が指定されたしきい値より少ない場合、システムは LinearBuilder と LinearSearcher を使用します。LinearBuilder はメモリ使用量を削減し、ロスレスな検索結果を保証するのに役立ちます。ドキュメント数が過剰に存在する場合、LinearBuilder のパフォーマンスは低下します。デフォルト値: 10000。

min_scan_doc_cnt

デフォルト値: 20000.

検索候補セットの最小数。デフォルト値: 10000。この概念は、proxima.qc.searcher.scan_ratio パラメータの概念と似ています。min_scan_doc_cnt パラメータに値を指定し、proxima.qc.searcher.scan_ratio パラメータにも値を指定した場合、大きい方の値が候補セットの最小数として使用されます。

enable_recall_report

デフォルト値: true.

検索率メトリックのレポート機能を有効にするかどうかを指定します。

is_embedding_saved

デフォルト値: false.

元のベクトルを保存するかどうかを指定します。INT8 量子化または FP16 量子化を有効にし、リアルタイム検索を有効にする場合は、is_embedding_saved パラメータを true に設定してください。そうしないと、増分ベクトルがバッチで構築されません。

ignore_invalid_doc

デフォルト値: true.

異常なベクトルデータを無視するかどうかを指定します。このパラメータを true に設定し、ベクトルの次元が正しくないか、ベクトルデータがない場合、システムは異常なベクトルデータを破棄します。

indexer

• aitheta2_indexer

ベクトルインデックスの構築に使用するプラグイン。このパラメータを aitheta2_indexer に設定します。