DiskBBQ は、Alibaba Cloud Elasticsearch Agent Engine Edition における大規模なベクトル検索のメモリオーバーヘッドを削減します。また、Sliced DiskBBQ は、各クエリを対象のテナント、ナレッジベース、またはコードリポジトリに絞り込みます。これらを組み合わせることで、大量のベクトル用に確保する必要があるメモリと、1 つのクエリで無関係なデータを読み取って計算するコストを削減します。
DiskBBQ：増大するベクトル量に対するメモリ負荷の軽減
DiskBBQ は、ディスクネイティブのベクトルインデキシング機能です。ベクトル量子化とディスク指向の検索を利用して、ベクトルを RAM 常駐させる必要性を低減します。ドキュメントストアやベクトルストアが増え続ける場合、DiskBBQ はアクセス頻度の低いベクトルのためにメモリを確保する長期的なコストを削減し、アクティブなクエリにより多くのリソースを割り当てることができます。
標準インデックスと Collections の両方が DiskBBQ をサポートしています。DiskBBQ は、大量のベクトルデータを扱い、メモリコストを抑制する必要があるワークロードに適しています。
Sliced DiskBBQ：各クエリを対象のビジネススペースに絞り込む
Sliced DiskBBQ は、Slice を認識する機能で DiskBBQ を拡張します。Slice とは、テナント、ナレッジベース、コードリポジトリなど、インデックス内のビジネススペースのことであり、そのベクトルデータは他の Slice とは別に検索されます。システムは対象の Slice に基づいてベクトルデータを特定し、選択されたビジネススペース内でのみ近傍を検索します。これにより、無関係な Slice に対するベクトルの読み取りと距離計算が削減されます。多くのナレッジベースが同じ基盤となるインデックスを共有している場合でも、1 つのナレッジベースに対するクエリは、そのナレッジベース自身のデータに集中します。Sliced DiskBBQ は、多くのビジネススペースを持ちながら、一度にそのうちの少数しかクエリしないアプリケーションに適しています。
テナント、ナレッジベース、またはコードリポジトリ別にデータを検索する場合、アプリケーションは Slice を指定します。オフラインクラスタリングをすでに完了しているワークロードでは、Vector cluster recall を使用して候補となる Slice を先に選択し、その中で検索することもできます。ビジネススペースがどのように構成されているかの詳細については、「テナントまたはナレッジベースによるデータ管理」をご参照ください。
DiskBBQ と Sliced DiskBBQ の選択
以下の表は、各機能を使用すべき状況をまとめたものです：
機能 | 最適化の対象 | 使用する状況 |
DiskBBQ | メモリコスト：大量のベクトルに対し、ベクトルを RAM 常駐させる必要性を低減します。 | 大量のベクトルデータがあり、メモリコストを抑制する必要がある場合。 |
Sliced DiskBBQ | クエリごとのコスト：対象の Slice 内でのみ近傍を検索することで、無関係な Slice に対するベクトルの読み取りと距離計算を削減します。 | アプリケーションにテナント、ナレッジベース、コードリポジトリなどの多くのビジネススペースがあるが、一度にクエリするのはそのうちの少数である場合。 |
DiskBBQ と Sliced DiskBBQ の有効化
DiskBBQ と Sliced DiskBBQ は、どちらも index_options.type=bbq_disk で設定されたベクトルフィールドを使用します。Collections を使用し、Slice スコープを選択すると、システムは対応する Slice 検索パスを使用します。フィールドとクエリパラメーターについては、「完全な例」をご参照ください。
検索パフォーマンスの評価
DiskBBQ と Sliced DiskBBQ は、近似最近傍検索を提供します。検索範囲を広げると、収穫逓減点に達するまで再現率が向上しますが、計算と読み取りのオーバーヘッドも増加します。ワークロードが厳密な最近傍の結果を必要とする場合は、厳密な検索手法を使用してください。
代表的なビジネスベクトルとクエリセットを使用して、再現率、レイテンシー、リソース消費を評価し、適切な検索範囲を決定してください。ホットクエリとコールドクエリは個別にテストしてください。テスト条件とレイテンシーデータについては、「機能概要のパフォーマンスリファレンス」をご参照ください。
次のステップ
標準インデックスの作成、書き込み、クエリ：完全な例。
テナントごとのデータ整理とクエリ：テナントによるクエリ。