云原生数据库 PolarDB：列存索引内存管理与调优

常驻元数据（不可淘汰）

常驻元数据与行数、列数线性相关，不可通过缓存参数缩减。以下为各ModId及其内存特征：

• PACKMETA_OBJ：约350B x Pack数 x 列数，行数x列数较大时为最大项。

• NCI_BP：NCI BufferPool结构，表多且nci_lsm_bp_shard大时可成为最大项。

• MASK_GROUP：默认LSM-mask模式下，per-pack x pack_size x 8B。

• MASK_LSM：Mask LSM Memtable层内存，受imci_mask_memtable_size控制。

• PACK_EXT_META：MinMax统计值，约32B x Pack数 x 列数。

• EXTENT_INFO：Extent磁盘位置信息，约24B x Pack数 x 列数。

• OBJ_STRUCT、NCI_STRUCT / NCI_BTREE、COLINFO_OBJ、PACKMETA_VEC。

LRU可控数据

LRU可控数据可通过对应的*lru_cache_capacity参数动态调整上限。未使用的功能（如未创建全文索引时FTS_DICT）不会实际占用缓存空间。

• LRU_PACK：对应参数imci_lru_cache_capacity。

• NCI_BP_PAGE：对应参数imci_nci_lru_cache_capacity，写入压力大时占比较多。

• BLOOM_FILTER / PRUNER：对应参数imci_pruner_lru_cache_capacity。

• FTS_DICT：对应参数imci_fts_lru_cache_capacity。

数据量增长与元数据内存增长速率

以一张1亿行、100列的表为例（pack_shift=16，pack_size=65536，Pack数量约1,526），各类常驻元数据随数据量增长的估算量级如下：

PackMeta（PACKMETA_OBJ） — 每Pack每列约350字节

IMCI以Pack为基本存储单位。pack_shift是Pack行数的指数，pack_size = 2^pack_shift（代码默认pack_shift=16即每Pack存65,536行）。每个Pack的每一列都有一个PackMeta对象，记录行数、空值数、数据大小、MinMax统计值等信息。

内存占用计算公式：

PackMeta总内存 ≈ SUM(NUM_PACKS x NUM_COLS) x 350字节

通过以下SQL可直接获取Pack x 列的总数（推荐，无需手动估算）：

-- 查询当前集群所有列存索引的 Pack×列 总数，直接乘以 350 即可得到 PackMeta 估算内存
SELECT SUM(NUM_PACKS * NUM_COLS) AS total_pack_cols,
       ROUND(SUM(NUM_PACKS * NUM_COLS) * 350 / 1024 / 1024, 2) AS packmeta_est_mb
FROM information_schema.IMCI_INDEXES;

示例：一张1亿行、100列的表（pack_shift=16，即pack_size=65536）：

• NUM_PACKS ≈ 1,526，NUM_COLS = 100。

• PackMeta内存 ≈ 1,526 x 100 x 350B ≈ 51 MB。

Mask内存 — 两种互斥模式（LSM vs Array）

每个Pack维护Insert Mask和Delete Mask两个掩码，用于MVCC行级可见性判断。每个Mask本质上是一个per-row的uint64事务版本号数组，因此每个Mask缓冲区大小为pack_size x 8字节。

Mask实现有两种互斥模式，由enable_lsm_mask参数控制（默认true，READ_ONLY，切换需重启）：

默认模式（LSM Mask）的内存占用计算：

MASK_GROUP内存 ≈ pack_count x pack_size x 8字节（per-pack的seq_v向量）
               + pack_count x 额外的GroupMaskBitmap开销
MASK_LSM内存  ≈ 活跃Memtable大小（可通过imci_mask_memtable_size控制）
MASK_CACHE内存 ≈ 读缓存，部分可控

传统模式的内存占用计算：

PACK_MASK每Pack最大 = pack_size x 8 x 2（INS + DEL）
1亿行表（pack_shift=16）: 1,526 packs x 65536 x 8 x 2 ≈ 1.49 GB

PACK_EXT_META — MinMax统计值（约32B x Pack数 x 列数）

每个file-pack（已持久化的Pack）的每列存储MinMax统计值（最小值、最大值），用于查询时的Pruning（跳过不相关Pack）。数值类型的MinMax约32字节，字符串类型（PACKSTR_MIN_MAX）为变长存储。

内存占用计算公式：

PACK_EXT_META总内存 ≈（总行数 / pack_size) x 列数 x 32字节

ExtentInfo — Extent位置信息（约24B x Pack数 x 列数）

每个file-pack的每列记录数据在磁盘上的Extent位置（ImciCompactedExtentInfo，变长结构约24B）。

内存占用计算公式：

EXTENT_INFO总内存 ≈（总行数 / pack_size) x 列数 x 24字节

NCI结构（NCI_STRUCT / NCI_BTREE） — 通常占用较小

NCI（Non-Clustered Index）的B-Tree叶子节点（NCI_STRUCT）和内部节点（NCI_BTREE）。如果未创建任何NCI索引，则NCI相关内存为0。

• NCI_STRUCT：B+Tree叶子节点，与索引行数线性相关。

• NCI_BTREE：B+Tree内部节点结构。

• nci_lsm_bp_shard：Buffer Pool分片数，每个分片有独立元数据，产生固定开销。可通过SHOW GLOBAL VARIABLES LIKE 'imci_nci_lsm_bp_shard'查看当前值。

NCI_BP — 表多且shard大时可成为大头

NCI_BP是NCI BufferPool及其分片结构的常驻内存。每个NCI索引会创建一个BufferPool，内部包含nci_lsm_bp_shard个分片，每个分片包含页表、刷脏队列等管理结构。

当表/索引数量众多（如几万张表）且nci_lsm_bp_shard配置较大时，NCI_BP的常驻结构内存会显著增长，可成为常驻内存中的大头。

方法一：查询各模块内存分配（推荐）

查看IMCI所有内存模块的分配情况，重点关注ALLOC值较大的模块。

-- 查看 IMCI 所有内存模块的分配情况
SELECT MOD_TYPE,
       ROUND(ALLOC / 1024 / 1024, 2) AS alloc_mb,
       ROUND(USED / 1024 / 1024, 2) AS used_mb,
       HOLD_CNT
FROM information_schema.IMCI_MEM_ALLOC
WHERE ALLOC > 0
ORDER BY ALLOC DESC;

常驻元数据（不可通过LRU淘汰）：这类元数据常驻内存，其大小通常与数据量（行数、列数）线性相关，无法通过LRU策略淘汰。

方法二：PackMeta估算

通过查询IMCI_INDEXES系统表获取Pack x 列总数，直接乘以350即可估算PackMeta内存。

SELECT SUM(NUM_PACKS * NUM_COLS) AS total_pack_cols,
       ROUND(SUM(NUM_PACKS * NUM_COLS) * 350 / 1024 / 1024, 2) AS packmeta_est_mb
FROM information_schema.IMCI_INDEXES;

方法三：表级列存索引内存

查看各列的内存大小，定位内存占用较高的表和列。

SELECT SCHEMA_NAME, TABLE_NAME, COLUMN_NAME,
       ROUND(MEM_SIZE / 1024 / 1024, 2) AS mem_mb
FROM information_schema.IMCI_COLUMNS
WHERE MEM_SIZE > 0
ORDER BY MEM_SIZE DESC;

方法四：元数据与可控数据汇总

通过以下SQL将所有ModId按常驻元数据和LRU可控数据两类汇总，快速了解内存构成比例。

SELECT 'metadata_resident' AS category,
       ROUND(SUM(ALLOC) / 1024 / 1024, 2) AS total_mb
FROM information_schema.IMCI_MEM_ALLOC
WHERE MOD_TYPE IN（
    'PACKMETA_OBJ', 'PACKMETA_ENTRY_OBJ', 'PACKMETA_VEC',
    'PACK_MASK', 'PACK_MASK_META_VEC', 'MASK_LSM', 'MASK_GROUP',
    'EXTENT_INFO', 'EXTENT_ID_VEC', 'EXTENT_ID_SET',
    'OBJ_STRUCT', 'COLINFO_OBJ', 'NCI_STRUCT', 'NCI_BTREE', 'NCI_BP',
    'PACK_EXT_META', 'PACKSTR_MIN_MAX', 'ROW_GROUP_META_VEC', 'GROUP_MASK_BITMAP_VEC'
)
UNION ALL
SELECT 'lru_controllable' AS category,
       ROUND(SUM(ALLOC) / 1024 / 1024, 2) AS total_mb
FROM information_schema.IMCI_MEM_ALLOC
WHERE MOD_TYPE IN（
    'LRU_PACK', 'LRU_STRUCT', 'LRU_RB_BLOCK',
    'NCI_BP_PAGE', 'NCI_BP_PAGE_TMP', 'NCI_LRU_HD',
    'BLOOM_FILTER', 'PRUNER', 'LRU_PRUNER',
    'FTS_DICT', 'MASK_CACHE',
    'RB_CACHE', 'CACHE_HANDLE_POOL', 'SINDEX'
);

调整pack_shift（降低Pack数量）

pack_shift决定每个Pack的行数（pack_size = 2^pack_shift）。增大pack_shift值可显著减少Pack数量，从而等比例降低所有per-pack元数据（PackMeta、PACK_EXT_META、EXTENT_INFO等）的内存占用。

配置方式：

-- 查看当前默认值
SHOW GLOBAL VARIABLES LIKE 'imci_default_pack_shift';

-- 设置新的全局默认（对新建索引生效）
SET GLOBAL imci_default_pack_shift = 17;

建表时通过COMMENT指定：

ALTER TABLE t1 ADD COLUMNAR INDEX idx1（col1, col2) COMMENT 'pack_shift=17';

对已有索引生效：修改imci_default_pack_shift仅对新建索引生效，已有的列存索引仍使用原pack_shift。如需对存量数据也生效，需配合imci_dynamic_pack_shift_policy参数：

调整nci_lsm_bp_shard

每个NCI Buffer Pool按nci_lsm_bp_shard分片管理，每个分片有独立的元数据结构。减少分片数可降低固定开销，但会降低并发性能。

其他可调参数

场景一：集群内存持续增长

当发现集群内存持续增长且怀疑是IMCI元数据导致时，按以下步骤排查：

1. 步骤1：查看IMCI总体内存分布。

2. 步骤2：判断内存类型。如果占比高的MOD_TYPE是PACKMETA_OBJ、NCI_BP、MASK_GROUP等，属于常驻元数据，进入步骤3。

3. 步骤3（常驻元数据占比高）：调整pack_shift增大到17或18，减少Pack数量。需重建索引生效。

4. 步骤4（验证效果）：再次执行步骤1的SQL，确认目标MOD_TYPE的内存已下降。

5. 步骤5（仍不足）：如调整后内存仍然不足，需要升级集群规格。

场景二：集群因元数据内存不足OOM

诊断方法：

1. 检查监控的内存使用率字段，如果内存使用率监控接近100%后，监控曲线割断后骤跌，大概率是OOM。

2. 如果日志中出现IMCI相关的内存分配失败，说明当前规格的内存不足以加载所有元数据。

恢复方法：

• 方法A：升级到更大内存规格。

• 方法B：删除不必要的列存索引。

• 方法C：通过启动参数增大pack_shift并设置imci_dynamic_pack_shift_policy=ENABLED，减少元数据量后重启。

场景三：预估IMCI元数据内存需求

方法一：直接查询当前常驻内存占用（推荐，最准确）

执行以下SQL排除LRU可控数据，查询当前集群IMCI常驻内存总量：

SELECT ROUND(SUM(ALLOC) / 1024 / 1024, 2) AS resident_meta_mb
FROM information_schema.IMCI_MEM_ALLOC
WHERE MOD_TYPE NOT IN
 （'NCI_BP_PAGE', 'LRU_PACK', 'PRUNER', 'BLOOM_FILTER', 'LRU_RB_BLOCK', 'FTS_DICT');

方法二：通过Pack x 列总数估算per-pack-per-column元数据

-- 查询Pack x 列总数，乘以约406字节即可估算per-pack-per-column元数据
SELECT SUM(NUM_PACKS * NUM_COLS) AS total_pack_cols,
       ROUND(SUM(NUM_PACKS * NUM_COLS) * 406 / 1024 / 1024, 2) AS per_pack_col_meta_mb
FROM information_schema.IMCI_INDEXES;

手动估算公式参考（适用于数据尚未导入、需要提前规划的场景）：

1. per-pack-per-column元数据 ≈ SUM(NUM_PACKS x NUM_COLS) x 406字节
2. Mask内存（极端上限）：
     默认LSM-mask模式 ≈ 每张表的总行数 x 8字节（单份seq_v向量）
     传统PACK_MASK模式 ≈ 每张表的总行数 x 16字节（INS + DEL两份）
3. 总元数据 ≈ 1 + 2（实际Mask远低于极端值）

场景四：根据内存占用获取规格建议

以下SQL可根据当前集群IMCI常驻内存的实际占用，推算建议的集群内存规格（按2的幂次取整，预留约65%给IMCI外的系统开销，最低8 GB，最高512 GB）：

-- 根据当前 IMCI 常驻内存，推算建议的实例内存规格（GB）
SELECT LEAST(
   GREATEST(POWER(2, CEIL(LOG2(SUM(ALLOC) / 0.35 / 1024 / 1024 / 1024))),2),
   512
 ) AS recommended_mem_gb
FROM information_schema.IMCI_MEM_ALLOC
WHERE MOD_TYPE NOT IN ('NCI_BP_PAGE', 'LRU_PACK', 'PRUNER', 'BLOOM_FILTER', 'LRU_RB_BLOCK', 'FTS_DICT');

集群内存大头速查

核心建议

1. 定期监控：通过IMCI_MEM_ALLOC查看各模块内存分布，重点关注PACKMETA_OBJ和NCI_BP。

2. 容量规划：PACKMETA_OBJ与行数 x 列数成正比，NCI_BP与NCI索引数 x nci_lsm_bp_shard成正比，需据此预估并选择足够的集群规格。

3. LRU缓存一般无需调整：通过SHOW GLOBAL VARIABLES确认当前值后再决定是否调整，不建议随意缩减。

4. pack_shift是降低常驻元数据的核心手段：增大后可等比例减少所有per-pack开销，但需重建索引。

5. 降配前验证：必须确认列存常驻元数据不超过新规格可用内存的40%，否则集群可能无法启动。可使用场景四：根据内存占用获取规格建议中的SQL获取规格建议。