Lindorm：列存索引

建立列存索引

CREATE INDEX index_name USING COLUMNAR
ON table_name(column_name(,..))
PARTITION BY ENUMERABLE (column_name(,...), bucket(bucket_num, column_name))
WITH (`lindorm_columnar.user.index.database` = 'columnar_db_name',
      `lindorm_columnar.user.index.table` = 'columnar_tbl_name');

CREATE INDEX my_tbl_idx USING COLUMNAR
ON my_tbl(pk0, pk1, pk2, col0, col1)
PARTITION BY ENUMERABLE (pk1, pk2, bucket(128, pk0))
WITH (`lindorm_columnar.user.index.database` = 'my_index_db',
      `lindorm_columnar.user.index.table` = 'my_index_tbl');

查看列存索引

列存索引建立成功後，索引資料會持續構建，寬表作為主表會持續將表中的資料同步至列存索引表中。資料同步包括存量資料同步和增量資料同步，增量資料同步過程中，索引資料與主表的資料會存在延遲，延遲時間小於1小時。

您可以通過SHOW INDEX語句查看列存索引的狀態。SHOW INDEX的使用方法及返回結果集說明，請參見SHOW INDEX。

使用列存索引

建立列存索引可以增強寬表海量資料的分析計算能力，您可以在SELECT查詢語句中指定相關HINT參數，將查詢請求路由至計算引擎執行並使用列存索引加速查詢，從而提升巨量資料計算的效率。

SELECT /*+ _use_ldps_(cg0), _columnar_index_ */ COUNT(*), SUM(col0), MIN(col0), MAX(col0)
FROM my_index_db.my_index_tbl
WHERE col0 > 100 AND col0 < 200 OR col0 > 500
GROUP BY pk1;

SELECT /*+ _use_ldps_(cg0), _columnar_index_ */ pk0 + col0, pk1
FROM my_index_db.my_index_tbl
WHERE col0 > 100 AND col0 < 200 OR col0 > 500
ORDER BY pk1
LIMIT 100;

SELECT /*+ _use_ldps_(cg0), _columnar_index_ */ *
FROM my_index_db.my_index_tbl0 as t0
  JOIN my_index_db.my_index_tbl1 as t1 
ON t0.pk0 = t1.pk0
AND t0.pk1 = t1.pk1
LIMIT 100;

刪除列存索引

您可以通過DROP INDEX語句刪除指定的列存索引。DROP INDEX的使用方法及樣本，請參見DROP INDEX。

複雜分區運算式

假設樣本表my_ts_tbl的表結構如下：

+------------+-------------+---------+----------------+
| TABLE_NAME | COLUMN_NAME |  TYPE   | IS_PRIMARY_KEY |
+------------+-------------+---------+----------------+
| my_ts_tbl  | id          | INT     | true           |
| my_ts_tbl  | ts          | LONG    | true           |
| my_ts_tbl  | col0        | VARCHAR | false          |
| my_ts_tbl  | col1        | INT     | false          |
+------------+-------------+---------+----------------+

在建立列存索引時，若寬表資料的主鍵欄位不能直接作為列存索引的普通分區運算式，可以在普通分區運算式中包含計算邏輯，樣本如下。

• 對寬表所有欄位建立列存索引，將列存索引資料按時間戳記欄位ts按天分區：

  CREATE INDEX my_ts_idx USING COLUMNAR ON my_ts_tbl(*)
  PARTITION BY ENUMERABLE (ifnull(substring(from_unixtime(ts), 0, 10), 'unknown') AS dt, bucket(128, id))
  WITH (`lindorm_columnar.user.index.database` = 'my_ts_index_db',
        `lindorm_columnar.user.index.table` = 'my_ts_index_tbl');

• 列存索引建立完成後，您可以在查詢語句中指定過濾條件並查詢列存索引中的資料。

  SELECT /*+ _use_ldps_ */ COUNT(1)
  FROM lindorm_columnar.my_ts_index_db.my_ts_index_tbl
  WHERE dt = '2020-06-06';

僅為增量資料構建列存索引

如果您需要跳過寬表中的存量資料，只為增量資料構建列存索引，可以指定參數lindorm_columnar.user.syncer.skip.fullsync = 'true'，樣本如下：

CREATE INDEX my_tbl_idx USING COLUMNAR ON my_tbl(*)
PARTITION BY ENUMERABLE (pk1, pk2, bucket(128, pk0))
WITH (`lindorm_columnar.user.index.database` = 'my_index_db',
      `lindorm_columnar.user.index.table` = 'my_index_tbl',
      `lindorm_columnar.user.syncer.skip.fullsync` = 'true');

JSON欄位展開儲存

列存索引支援在資料同步時，將JSON類型的欄位展開儲存，支援靜態展開儲存與動態展開儲存兩種方式。

假設樣本表my_json_tbl的表結構如下：

+-------------+-------------+--------+----------------+
| TABLE_NAME  | COLUMN_NAME |  TYPE  | IS_PRIMARY_KEY |
+-------------+-------------+--------+----------------+
| my_json_tbl | id          | BIGINT | true           |
| my_json_tbl | col1        | INT    | false          |
| my_json_tbl | json_col    | JSON   | false          |
+-------------+-------------+--------+----------------+

執行以下語句插入JSON資料：

UPSERT INTO my_json_tbl (id,col1,json_col) VALUES(2,2,'{"a": {"b": {"c": "hello,world", "d": 123}, "e": false }, "f": 3.14}');

json_col的結構如下：

{
  "a": {
    "b": {
      "c": "hello,world",
      "d": 123
    },
    "e": false
  },
  "f": 3.14
}

CREATE INDEX columnar_idx USING COLUMNAR ON my_json_tbl(*) 
PARTITION BY ENUMERABLE (ifnull(id%16, 0) as dt, bucket(16,id)) 
WITH (
  `lindorm_columnar.user.syncer.lci.jsonMapping.json_col` = 'a.b.c VARCHAR, a.e BOOLEAN ,f DOUBLE',
  `lindorm_columnar.user.index.database` = 'my_index_db',
  `lindorm_columnar.user.index.table` = 'my_index_tbl');

CREATE INDEX columnar_idx USING COLUMNAR ON my_json_tbl(*) 
PARTITION BY ENUMERABLE (ifnull(id%16, 0) as dt, bucket(16,id)) 
WITH (
  `lindorm_columnar.user.syncer.lci.dynamicJsonColumns` = 'json_col',
  `lindorm_columnar.user.index.database` = 'my_index_db',
  `lindorm_columnar.user.index.table` = 'my_index_tbl');

當您為JSON欄位配置為靜態展開儲存或者動態展開儲存後，原始JSON欄位將不會儲存到列存表中。同時，列存表格儲存體的JSON展開名會以其對應JSON欄位名為首碼。

例如當您通過`lindorm_columnar.user.syncer.lci.jsonMapping.json_col` = 'a.b.c VARCHAR, a.e BOOLEAN'，為列存索引指定JSON靜態展開儲存後。此時列存表中將不會有名為json_col的列，而會有以下列：

• 名為json_col.a.b.c的列：類型為STRING，儲存json_col欄位中a.b.c的值。

• 名為json_col.a.e的列：類型為BOOLEAN，儲存json_col欄位中a.e的值。

如果您仍希望同步原始JSON欄位，或不期望列存表格儲存體的JSON展開欄位名以對應JSON欄位名為首碼，可以通過以下方式實現：

表結構變更動態感知（公測中）

列存索引可以在資料同步時，動態感知資料表的表結構變更，並影響列存表的表結構。在建立列存索引時，您可以指定`lindorm_columnar.user.syncer.lci.dynamicSchema` = 'true'，來定義列存表結構與主表結構保持一致。樣本如下：

CREATE INDEX my_tbl_idx USING COLUMNAR
ON my_tbl(*) 
PARTITION BY ENUMERABLE (pt_d, bucket(128, pk0))
WITH (
  `lindorm_columnar.user.index.database` = 'my_index_db',
  `lindorm_columnar.user.index.table` = 'my_index_tbl',
  `lindorm_columnar.user.syncer.lci.dynamicSchema` = 'true');

為列存表添加列（公測中）

建立列存索引後，您可以通過ALTER INDEX文法為列存索引添加欄位而無需重建索引，支援為列存索引添加普通欄位或者JSON欄位靜態展開的Mapping列。

假設表my_json_tbl的結構如下：

+-------------+-------------+---------+----------------+
|  TABLE_NAME | COLUMN_NAME |  TYPE   | IS_PRIMARY_KEY |
+-------------+-------------+---------+----------------+
| my_json_tbl | id          | BIGINT  | true           |
| my_json_tbl | col1        | INT     | false          |
| my_json_tbl | col2        | VARCHAR | false          |
| my_json_tbl | json_col1   | JSON    | false          |
| my_json_tbl | json_col2   | JSON    | false          |
+--------------+-------------+---------+----------------+

您可以通過以下SQL語句建立列存索引：

CREATE INDEX columnar_idx USING COLUMNAR ON my_json_tbl(id, col1, json_col1) 
PARTITION BY ENUMERABLE (ifnull(id%16, 0) as dt, bucket(16,id)) 
WITH (
  `lindorm_columnar.user.syncer.lci.jsonMapping.json_col1` = 'a.b.c VARCHAR, a.e BOOLEAN',
  `lindorm_columnar.user.index.database` = 'my_index_db',
  `lindorm_columnar.user.index.table` = 'my_index_tbl');

此時，在列存表中未包含 col2、json_col2相關的列。您可以通過以下語句為列存索引添加普通欄位：

ALTER INDEX IF EXISTS columnar_idx ON my_json_tbl ADD COLUMNS(col2);

您也可以通過以下語句為列存索引添加JSON欄位的靜態映射規則：

ALTER INDEX IF EXISTS columnar_idx ON my_json_tbl
ADD COLUMNS (
  json_extract_long(json_col2, '$.key1'),
  json_extract_boolean(json_col2, '$.key2'),
  json_extract_double(json_col2, '$.key3.key4')
);