数据湖构建：使用 StarRocks 查询 Paimon Global Index

注册 DLF Catalog

在 EMR Serverless StarRocks 的 SQL Editor 中注册指向目标 DLF Paimon Catalog 的 External Catalog：

CREATE EXTERNAL CATALOG `dlf_samples`
PROPERTIES (
    'type' = 'paimon',
    'uri' = 'http://cn-hangzhou-vpc.dlf.aliyuncs.com',
    'paimon.catalog.type' = 'rest',
    'paimon.catalog.warehouse' = 'dlf_samples',
    'token.provider' = 'dlf'
);

参数说明：

• uri：http://<vpc_endpoint>，其中 <vpc_endpoint> 为 StarRocks 实例所在地域的 DLF VPC Endpoint。各地域的 Endpoint，请参见地域与服务接入点。

• paimon.catalog.warehouse：替换为目标 DLF Catalog Name。

具体操作，请参见使用 DLF Catalog。

开启分布式 Global Index 查询

在执行查询的连接中运行以下命令：

SET paimon_global_index_scan_stage = 2;

设置为 2 后，StarRocks 会先分布式读取 Global Index，再按 Row ID 读取 Paimon 数据。

查看共享样例表的 Global Index

查询 Paimon table_indexes 系统表，确认 B-tree 和 IVF-PQ 索引已经提交：

SELECT
    index_type,
    index_field_name,
    COUNT(*) AS index_file_count,
    SUM(row_count) AS indexed_rows
FROM `dlf_samples`.`search_samples`.`berkeley_deepdrive_100k_images$table_indexes`
WHERE index_type IN ('btree', 'ivf-pq')
GROUP BY index_type, index_field_name
ORDER BY index_type, index_field_name;

查询结果应包含 weather 字段的 B-tree 索引和 image_embedding 字段的 IVF-PQ 索引，且 indexed_rows 大于 0。

使用 B-tree 按天气查询

查询 rainy 天气的图片：

SELECT
    image_id,
    event_time,
    weather,
    time_of_day,
    road_scene,
    detected_objects
FROM `dlf_samples`.`search_samples`.`berkeley_deepdrive_100k_images`
WHERE weather = 'rainy'
LIMIT 20;

使用 IVF-PQ 查询相似图片

先从样例表读取一张图片的向量到会话变量，再执行 Top 10 查询，无需展开向量内容：

SET paimon_global_index_scan_stage = 2;
SET @query_vector = (
    SELECT image_embedding
    FROM `dlf_samples`.`search_samples`.`berkeley_deepdrive_100k_images`
    WHERE image_id = 'b6d82c09-e7005951'
    LIMIT 1
);

SELECT
    image_id,
    event_time,
    weather,
    time_of_day,
    road_scene,
    detected_objects,
    approx_inner_product(image_embedding, @query_vector) AS score
FROM `dlf_samples`.`search_samples`.`berkeley_deepdrive_100k_images`
ORDER BY score DESC
LIMIT 10;

score 越大表示越相似。评分函数和排序方向必须与索引的距离度量一致。本示例使用内积和降序排列。

使用 B-tree 和 IVF-PQ 进行混合检索

复用上一步的 @query_vector，增加天气条件，同时使用 B-tree 和 IVF-PQ：

SELECT
    image_id,
    weather,
    approx_inner_product(image_embedding, @query_vector) AS score
FROM `dlf_samples`.`search_samples`.`berkeley_deepdrive_100k_images`
WHERE weather = 'rainy'
ORDER BY score DESC
LIMIT 10;

使用 Bitmap 和多值索引查询

以下示例使用已创建 Bitmap 和多值索引的自建 Paimon 表。请将 <catalog_name>、<database_name> 和 <table_name> 替换为实际名称，并先查询 table_indexes 系统表，确认 time_of_day 字段的 Bitmap 索引和 detected_objects 字段的多值索引已构建，且 indexed_rows 大于 0：

SELECT
    index_type,
    index_field_name,
    COUNT(*) AS index_file_count,
    SUM(row_count) AS indexed_rows
FROM `<catalog_name>`.`<database_name>`.`<table_name>$table_indexes`
GROUP BY index_type, index_field_name
ORDER BY index_type, index_field_name;

按低基数字段筛选夜间图片：

SELECT image_id, event_time, time_of_day, detected_objects
FROM `<catalog_name>`.`<database_name>`.`<table_name>`
WHERE time_of_day = 'night'
LIMIT 20;

筛选 detected_objects 数组中包含完整元素 car 的图片：

SELECT image_id, event_time, time_of_day, detected_objects
FROM `<catalog_name>`.`<database_name>`.`<table_name>`
WHERE array_contains(detected_objects, 'car')
LIMIT 20;

组合标量条件与数组元素条件：

SELECT image_id, event_time, time_of_day, detected_objects
FROM `<catalog_name>`.`<database_name>`.`<table_name>`
WHERE time_of_day = 'night'
  AND array_contains(detected_objects, 'car')
LIMIT 20;

array_contains 表示数组元素匹配，不是字符串子串匹配。函数可以执行与谓词能够下推到 Paimon 是两项不同的能力，SQL 执行成功不能单独证明多值索引已生效。

确认当前连接的 paimon_global_index_scan_stage 为 2，再结合 Query Profile 中的扫描、过滤指标和实际耗时判断。EXPLAIN 仅出现 PaimonScanNode 不能作为命中索引的证据。本节 SQL 未在该部署环境中实际执行。