Vector Retrieval Service for Milvus:DiskANN インデックスを使用したベクトル範囲検索の実行

リファインメントの有効化

範囲検索におけるフィルタリングと検索終了は、元のベクトルの距離に依存します。デフォルトのリファインメント設定を維持してください：

• クエリパラメーターを use_refine = false に設定しないでください。

バンドの近傍深度に基づいて search_list を設定

候補ウィンドウは、ターゲットのバンドが存在する近傍深度をカバーする必要があります。以下のガイドラインに従ってください：

• バンドに最近傍 (L2 で range_filter = 0 の場合、または IP/COSINE で range_filter が省略された場合) が含まれる場合は、search_list を少なくとも max(100, limit) に設定します。limit が数十から 100 と小さい場合、100 のウィンドウを使用すると、標準的な TopK 検索に匹敵する再現率が得られます。

• 内側の境界が多くの最近傍を除外する場合、つまり range_filter が多数の最も近いベクトルを除外し、ターゲットバンドがより遠くに位置する場合は、search_list をターゲット近傍の深さと同じオーダーに増やします。バンドが数千番目の最近傍あたりに位置する状況で、ウィンドウが 100 にすぎない場合、グラフ検索はバンドに到達できないことが多く、返す結果が少なくなります。

limit が search_list より大きい場合、結果は切り捨てられませんが、候補ウィンドウが比較的小さくなり、バンド内で K 番目の近傍に到達する確率が低下します。K 個の結果のリコールの安定性を向上させるには、search_list を K 以上に設定します。

limit による結果数の指定

limit は検索深度ではなく、返される結果の最大数を指定します。radius によって検索範囲が決定されると、limit の値を増やしても、そのバンド内のすべての結果が取得されるまで、同じバンドからより多くの結果が返されるだけです。そのバンドにベクトルが 10 個しか含まれていない場合、limit = 1000 としても、有効な結果は約 10 個しか得られません。PyMilvus は実際のヒットのリストを返し、リストを limit エントリまでパディングしません。

limit が 16384 以上の場合でも、範囲検索では大規模な TopK スキャンパスではなく、依然としてグラフ検索が使用されます。K が大きく、バンドが広いと、レイテンシーが大幅に増加します。数十件の結果のみが必要な場合は、limit にこのような大きな値を設定しないでください。

limit より少ない結果が返される場合があります

要求された数より少ない結果が返されるのは、次の 2 つの場合です：

• バンド内のベクトルの数は limit 未満です。

• 正確な距離が外側境界を超え、後続の候補ベクトルがさらに遠くにある場合。

PyMilvus では、返されたヒットのリストを直接イテレートし、len(res[0]) を使用して実際のヒット数をカウントします。limit に基づいて固定数の結果スロットを予約する必要はありません。

グラフ検索がターゲットバンドをカバーしていない場合、返される結果が少なくなることもあります。この場合、半径を拡大せずに search_list を増やします。search_list がバンドの深さと同じオーダーの場合、再現率は同じウィンドウを持つ標準的な TopK 検索と同等の再現率になります。このウィンドウ内では、推定距離と正確な距離の間のわずかな順序の違いによって、区間条件を満たす結果がその条件から外れたり、結果のページ全体が常に欠落したりすることはありません。

COSINE：スコアが 0.4 から 0.6 の間の上位 3 件の結果の取得

デフォルトのメトリックが COSINE の場合、radius は range_filter 未満である必要があります。 次のリクエストは、スコアが 0.4 < score <= 0.6 を満たす結果を最大 3 件、スコアの降順で返します。

from pymilvus import MilvusClient

client = MilvusClient(uri="http://<your-endpoint>:19530", token="<your-username>:<your-password>")

query_vector = [
    0.3580376395471989,
    -0.6023495712049978,
    0.18414012509913835,
    -0.26286205330961354,
    0.9029438446296592,
    0.0,
    0.0,
    0.0,
]

res = client.search(
    collection_name="my_collection_cosine",
    anns_field="vector",
    data=[query_vector],
    limit=3,
    search_params={
        "metric_type": "COSINE",
        "params": {
            "radius": 0.4,
            "range_filter": 0.6,
            "search_list": 100,
        },
    },
)

for hits in res:
    for hit in hits:
        print(hit["id"], hit["distance"])

limit = 3 の場合、search_list = 100 を使用できます。limit = 200 に変更する場合は、search_list を 200 以上に設定してください。

L2：内側境界なしで radius 100 内の上位 10 件の結果の取得

res = client.search(
    collection_name="my_collection_l2",
    anns_field="vector",
    data=[query_vector],
    limit=10,
    search_params={
        "metric_type": "L2",
        "params": {
            "radius": 100.0,
            "range_filter": 0.0,
            "search_list": 100,
        },
    },
)

0 <= distance < 100 を満たす最も近い結果を最大 10 件返します。

L2：近接する近傍を除外し、距離が 20 から 100 の間の結果を取得

res = client.search(
    collection_name="my_collection_l2",
    anns_field="vector",
    data=[query_vector],
    limit=10,
    search_params={
        "metric_type": "L2",
        "params": {
            "radius": 100.0,
            "range_filter": 20.0,
            "search_list": 100,
        },
    },
)

返される結果は 20 <= distance < 100 を満たします。距離が 20 未満の近傍が多数ある場合は、候補ウィンドウが内部境界によって除外された近傍深度をカバーするように、search_list を増やしてください。

IP：スコアが 0.2 から 0.8 の間の結果の取得

res = client.search(
    collection_name="my_collection_ip",
    anns_field="vector",
    data=[query_vector],
    limit=10,
    search_params={
        "metric_type": "IP",
        "params": {
            "radius": 0.2,
            "range_filter": 0.8,
            "search_list": 100,
        },
    },
)

0.2 < score <= 0.8 を満たす、スコアが最も高い結果を最大 10 件返します。