Vector Retrieval Service for Milvus:ストレージ最適化ディスクインデックス (DiskANN)

Vamana グラフ

Vamana グラフは、DiskANN のディスクベース戦略における中核構造です。HNSW の多層構造とは異なり、Vamana は単層の疎グラフを使用し、2 回のプルーニングによって構築されます。このアプローチにより、グラフの接続性を維持しつつ、より長距離のエッジを導入し、検索の収束に必要なホップ数を削減します。

構築プロセスは次のとおりです。

• 初期のランダム接続：各ベクトルはグラフ内のノードとして機能します。ノードは最初にランダムに接続されて密なネットワークを形成します。接続性を確保するために、通常はノードあたり約 500 本のエッジを持ちます。

• 2回のプルーニングによる最適化：冗長なエッジを削除し、ノード間距離に基づいて低品質な接続をプルーニングし、高品質なエッジを優先します。ノードあたりの最大エッジ数は MaxDegree で制御されます。長距離エッジを導入してベクトル空間内の離れたデータポイントを接続し、グラフの走査を高速化するナビゲーションショートカットを作成します。グラフ構築時の近傍探索の幅は SearchListSize によって決まります。

オープンソースの DiskANN 実装では、各ノードの近傍リストとそのフル精度ベクトルが同じディスクセクターに格納されます。検索時には 1 回のディスク読み取りで近傍関係と元のベクトルの両方を取得できるため、暗黙的なリランキングが可能になりますが、検索プロセス全体では大量のシーケンシャルなディスク I/O が発生します。Alibaba Cloud Milvus は Vamana グラフインデックスをメモリ内で再編成し、検索プロセス中のディスク I/O を排除し、最終的なリランキングフェーズでのみディスクから元のベクトルを読み取ります。

RaBitQ 量子化

RaBitQ (Random Bit Quantization) はベクトルを正規化し、ハイパーキューブの頂点にマッピングします。必要なビット数は次元あたり 1 ビットのみです。これによりストレージオーバーヘッドを圧縮し、ベクトル間の近似距離計算を高速化します。

高次元空間では、ランダムなベクトル間の角度は強く集中します。ハイパーキューブの頂点にマッピングする際の量子化誤差は O(1/√d) の割合で収束します。つまり、次元が高いほど量子化誤差は小さくなります。768 次元空間では、1 ビット量子化による誤差はすでに非常に小さくなります。Alibaba Cloud Milvus は標準の 1 ビット RaBitQ を 4 ビット拡張モードに拡張し、次元あたり 4 ビットを使用して残差情報を符号化することで、圧縮率と精度のバランスを取ります。

手順1：メモリとインスタンスタイプの計画

次の式を使用して、必要な理論上の最小メモリを計算します。実際のメモリ使用量は理論値よりわずかに大きくなります。理論値の 1.5 倍を目安にリソースを確保してください。

パフォーマンスモード：

Memory = Number of vectors × (Dimension / 2 + 228) bytes

ディスクモード：

Memory = Number of vectors × (Dimension / 2) bytes

例として、1億件の 768 次元ベクトルを想定します。

手順2：ストレージ最適化クラスターの作成

Alibaba Cloud Milvus インスタンスを作成する際に、[Compute Node] の [CU Type] を [Storage-optimized] に設定します。クラスターの作成後、追加の設定は不要です。DiskANN RaBitQ インデックスタイプがデフォルトで使用されます。インデックスタイプを AUTOINDEX に設定してコレクションを作成すると、システムは基盤インデックスとして DiskANN を自動的に選択します。

インスタンスの作成手順の詳細については、「クイックスタート：Milvus インスタンスの作成」をご参照ください。

AUTOINDEX を使用する場合、describe_index はインデックスタイプとして AUTOINDEX を返し、自動的に選択された基盤インデックスは表示しません。実際に有効になっているインデックスタイプを確認するには、セグメントレベルの情報を照会します。index_name が DISKANN の場合、DiskANN が選択されていることを示します。

from pymilvus import connections, utility

connections.connect(uri="http://<endpoint>:19530", token="<user>:<password>")
for seg in utility.get_query_segment_info("<collection_name>"):
    print(seg.segmentID, seg.num_rows, seg.index_name)

手順3：デプロイメントモードの切り替え (オプション)

同じ DiskANN RaBitQ インデックスは、2 つのデプロイメントモードをサポートします。ビジネス要件に基づいて、ロードおよび検索の方法を選択してください。

コスト削減の要件が特にない場合は、デフォルトのパフォーマンスモードを維持してください。メモリコストが主要な制約であり、クエリパフォーマンスの低下を許容できる場合にのみ、ディスクモードに切り替えてください。ディスクモードにはクラスターのバージョン 2.6.18 以降が必要です。

パフォーマンスモードがデフォルトで使用されます。デプロイメントモードの切り替えでは、インデックスの再構築は不要です。モードの切り替えは、ロードフェーズでコレクションの解放、コレクションプロパティの変更、再読み込みを行うことで完了します。

切り替え中は、コレクションが解放されて再読み込みされます。この期間、コレクションのクエリ機能は一時的に利用できません。オフピーク時間帯にこの操作を実行してください。

次の Python スクリプトを使用して切り替えを実行します。

from pymilvus import MilvusClient

CLUSTER_ENDPOINT = "http://xxx-internal.milvus.aliyuncs.com:19530"
TOKEN = "<user>:<password>"
COLLECTION_NAME = "<collection_name>"

def set_diskann_mode(mode: str):
    client = MilvusClient(uri=CLUSTER_ENDPOINT, token=TOKEN, timeout=7200)
    # 1. コレクションを解放します
    client.release_collection(COLLECTION_NAME)
    # 2. デプロイメントモードを変更します
    client.alter_collection_properties(
        COLLECTION_NAME,
        properties={"diskann.rabitq_mode": mode},
    )
    # 3. コレクションを再ロードします
    client.load_collection(COLLECTION_NAME, timeout=7200)
    client.close()

if __name__ == '__main__':
    set_diskann_mode("disk")   # ディスクモードに切り替えます
    # set_diskann_mode("perf")  # パフォーマンスモードに戻します

パラメーターの説明：

切り替え完了後、describe_collection が返す properties 内の diskann.rabitq_mode フィールドを確認することで、現在のモードを検証できます。

インデックス構築パラメーター

次のパラメーターは、インデックスの構築方法に影響します。これらを調整すると、インデックスサイズ、構築時間、検索品質に影響します。

検索パラメーター

次のパラメーターは検索動作に影響します。これらを調整すると、検索速度、レイテンシー、リソース消費に影響します。

上記の検索パラメーターは、データ量が十分に大きい場合にのみ有効になります。データ量が少ないコレクションでは、ANN インデックスを経由せずに厳密検索を直接実行します。この場合、search_list、use_refine、early_termination_threshold を調整しても、再現率や返される Distance 値に目に見える影響はありません。パラメーター調整は、本番環境に近い規模のデータセットで検証してください。

コレクション内のセグメント数が多すぎると、クエリパフォーマンスに顕著な影響があります。管理コンソールまたはクライアント API を使用して定期的にコンパクションをトリガーし、セグメント数を削減してください。