DashVector:グループドキュメント検索

Collection.query_group_by(
        self,
        vector: Optional[Union[List[Union[int, float]], np.ndarray]] = None,
        *,
        group_by_field: str,
        group_count: int = 10,
        group_topk: int = 10,
        id: Optional[str] = None,
        filter: Optional[str] = None,
        include_vector: bool = False,
        partition: Optional[str] = None,
        output_fields: Optional[List[str]] = None,
        sparse_vector: Optional[Dict[int, float]] = None,
        async_req: bool = False,
    ) -> DashVectorResponse:

import dashvector
import numpy as np

client = dashvector.Client(
    api_key='YOUR_API_KEY',
    endpoint='YOUR_CLUSTER_ENDPOINT'
)
ret = client.create(
    name='group_by_demo',
    dimension=4,
    fields_schema={'document_id': str, 'chunk_id': int}
)
assert ret

collection = client.get(name='group_by_demo')

ret = collection.insert([
    ('1', np.random.rand(4), {'document_id': 'paper-01', 'chunk_id': 1, 'content': 'xxxA'}),
    ('2', np.random.rand(4), {'document_id': 'paper-01', 'chunk_id': 2, 'content': 'xxxB'}),
    ('3', np.random.rand(4), {'document_id': 'paper-02', 'chunk_id': 1, 'content': 'xxxC'}),
    ('4', np.random.rand(4), {'document_id': 'paper-02', 'chunk_id': 2, 'content': 'xxxD'}),
    ('5', np.random.rand(4), {'document_id': 'paper-02', 'chunk_id': 3, 'content': 'xxxE'}),
    ('6', np.random.rand(4), {'document_id': 'paper-03', 'chunk_id': 1, 'content': 'xxxF'}),
])
assert ret

ret = collection.query_group_by(
    vector=[0.1, 0.2, 0.3, 0.4],
    group_by_field='document_id',  # document_id フィールドの値で結果をグループ化します。
    group_count=2,  # 2 つのグループを返します。
    group_topk=2,   # 各グループから最大 2 つのドキュメントを返します。
)
# 操作が成功したかどうかを確認します。
if ret:
    print('query_group_by success')
    print(len(ret))
    print('------------------------')
    for group in ret:
        print('group key:', group.group_id)
        for doc in group.docs:
            prefix = ' -'
            print(prefix, doc)

ret = collection.query_group_by(
    id='1',
    group_by_field='name',
)
# クエリメソッドが正常に呼び出されたかどうかを確認します。
if ret:
    print('query_group_by success')
    print(len(ret))
    for group in ret:
        print('group:', group.group_id)
        for doc in group.docs:
            print(doc)
            print(doc.id)
            print(doc.vector)
            print(doc.fields)

# ベクトルまたはプライマリキーと条件フィルターを使用してグループ化された類似性検索を実行します。
ret = collection.query(
    vector=[0.1, 0.2, 0.3, 0.4],   # 検索対象のベクトルを指定します。または、検索対象のプライマリキーを指定することもできます。
    group_by_field='name',
    filter='age > 18',             # age フィールドの値が 18 より大きいドキュメントに対して一致クエリを実行するためのフィルターを指定します。
    output_fields=['name', 'age'], # name フィールドと age フィールドのみを返します。
    include_vector=True
)

# 密ベクトルと疎ベクトルの両方を使用してグループ化された類似性検索を実行します。
ret = collection.query(
    vector=[0.1, 0.2, 0.3, 0.4],   # 検索対象のベクトルを指定します。
    sparse_vector={1: 0.3, 20: 0.7},
    group_by_field='name',
)