数据湖构建：使用 Flink 查询 Paimon Global Index

在 Flink 中注册 Catalog

进入实时计算 Flink 版控制台，选择数据开发 > 数据查询，执行以下 SQL 创建 Catalog：

CREATE CATALOG `dlf_samples` WITH (
    'type' = 'paimon',
    'metastore' = 'rest',
    'token.provider' = 'dlf',
    'uri' = 'http://cn-hangzhou-vpc.dlf.aliyuncs.com',
    'warehouse' = 'dlf_samples'
);

参数说明：

• uri：设置为 http://<vpc_endpoint>，其中 <vpc_endpoint> 为 Flink 工作空间所在地域的 DLF VPC Endpoint。各地域的 Endpoint，请参见地域与服务接入点。

• warehouse：替换为目标表所在的实际 DLF Catalog Name。

• Catalog 名称：可以按需修改，示例中的 Catalog 名称为 dlf_samples。

创建完成后，刷新数据管理页面，确认 Catalog 中可以查看目标数据库和表。DLF Catalog 参数说明，请参见管理 Paimon Catalog。

语法

VECTOR_SEARCH(
    SEARCH_TABLE => TABLE <search_table>,
    COLUMN_TO_SEARCH => DESCRIPTOR(<column_to_search>),
    COLUMN_TO_QUERY => <column_to_query>,
    TOP_K => <top_k>[,
    CONFIG => <config>]
)

输入参数

VECTOR_SEARCH 的完整语法和输入参数说明，请参见向量搜索（VECTOR_SEARCH）。

CONFIG 参数

CONFIG 中的配置对上游每一条记录的检索都生效。

引擎运行参数控制检索的执行方式：

向量索引的检索语法与索引类型无关。Paimon 向量索引查询参数由 Paimon Connector 透传给向量索引后端，用于调整召回率与查询耗时。CONFIG 中的参数名由向量索引类型决定，以下示例中的 ivf.nprobe 适用于 IVF 系列索引：

VECTOR_SEARCH(
    SEARCH_TABLE => TABLE <search_table>,
    COLUMN_TO_SEARCH => DESCRIPTOR(<column_to_search>),
    COLUMN_TO_QUERY => <column_to_query>,
    TOP_K => 10,
    CONFIG => MAP[
        'async', 'true',
        'ivf.nprobe', '32'
    ]
)

通常不需要设置向量索引查询参数，Paimon 会使用默认配置。只有召回率或查询耗时不满足要求时，再调整相关参数。IVF-PQ 索引的参数含义和调优方法，请参见IVF-PQ 构建和查询参数。

返回结果

VECTOR_SEARCH 返回一张数据表。每条上游记录对应至多 TOP_K 行，每行包含被检索表的全部列，以及一个附加列 score。score 为 DOUBLE 类型，描述该行向量与输入向量的相似度，值越大表示越相似。

样例表使用内积作为距离度量。向量已归一化时，分数可以近似按余弦相似度理解。

示例

在实时计算 Flink 版的数据开发 > 数据查询页面中新建查询脚本。

以下示例使用 DLF 共享样例表 dlf_samples.search_samples.berkeley_deepdrive_100k_images 作为上游数据流，为每条记录检索 Top 10 相似图片。该表的 image_embedding 列上建有 IVF-PQ 向量索引。

SELECT
    q.`image_id` AS query_image_id,
    r.`image_id` AS similar_image_id,
    r.`weather`,
    r.`road_scene`,
    r.`score`
FROM `dlf_samples`.`search_samples`.`berkeley_deepdrive_100k_images` AS q,
LATERAL TABLE(
    VECTOR_SEARCH(
        SEARCH_TABLE => TABLE `dlf_samples`.`search_samples`.`berkeley_deepdrive_100k_images`,
        COLUMN_TO_SEARCH => DESCRIPTOR(image_embedding),
        COLUMN_TO_QUERY => q.`image_embedding`,
        TOP_K => 10
    )
) AS r;

实际业务中，查询向量通常来自消息队列或另一张持续写入的 Paimon 表。将上游替换为该数据流即可，VECTOR_SEARCH 部分不需要改动。