Lindorm：Indeks penyimpanan kolom

Buat indeks penyimpanan kolom

CREATE INDEX index_name USING COLUMNAR
ON table_name(column_name(,..))
PARTITION BY ENUMERABLE (column_name(,...), bucket(bucket_num, column_name))
WITH (`lindorm_columnar.user.index.database` = 'columnar_db_name',
      `lindorm_columnar.user.index.table` = 'columnar_tbl_name');

CREATE INDEX my_tbl_idx USING COLUMNAR
ON my_tbl(pk0, pk1, pk2, col0, col1)
PARTITION BY ENUMERABLE (pk1, pk2, bucket(128, pk0))
WITH (`lindorm_columnar.user.index.database` = 'my_index_db',
      `lindorm_columnar.user.index.table` = 'my_index_tbl');

Lihat indeks penyimpanan kolom

Setelah indeks penyimpanan kolom dibuat, datanya dibangun secara berkelanjutan. Tabel lebar, yang merupakan tabel utama, terus-menerus menyinkronkan datanya ke tabel indeks penyimpanan kolom. Sinkronisasi data mencakup sinkronisasi data historis dan data inkremental. Selama sinkronisasi data inkremental, data indeks tertinggal dari data tabel utama. Keterlambatan ini biasanya kurang dari 1 jam.

Anda dapat menggunakan pernyataan SHOW INDEX untuk melihat status indeks penyimpanan kolom. Untuk informasi selengkapnya tentang penggunaan SHOW INDEX dan deskripsi set hasilnya, lihat SHOW INDEX.

Gunakan indeks penyimpanan kolom

Indeks penyimpanan kolom dapat meningkatkan kemampuan komputasi analitik untuk data masif dalam tabel lebar. Anda dapat menentukan parameter HINT dalam pernyataan kueri SELECT untuk mengarahkan permintaan kueri ke mesin komputasi. Mesin komputasi kemudian menggunakan indeks penyimpanan kolom untuk mempercepat kueri, sehingga meningkatkan efisiensi komputasi data besar.

SELECT /*+ _use_ldps_(cg0), _columnar_index_ */ COUNT(*), SUM(col0), MIN(col0), MAX(col0)
FROM my_index_db.my_index_tbl
WHERE col0 > 100 AND col0 < 200 OR col0 > 500
GROUP BY pk1;

SELECT /*+ _use_ldps_(cg0), _columnar_index_ */ pk0 + col0, pk1
FROM my_index_db.my_index_tbl
WHERE col0 > 100 AND col0 < 200 OR col0 > 500
ORDER BY pk1
LIMIT 100;

SELECT /*+ _use_ldps_(cg0), _columnar_index_ */ *
FROM my_index_db.my_index_tbl0 as t0
  JOIN my_index_db.my_index_tbl1 as t1 
ON t0.pk0 = t1.pk0
AND t0.pk1 = t1.pk1
LIMIT 100;

Hapus indeks penyimpanan kolom

Anda dapat menggunakan pernyataan DROP INDEX untuk menghapus indeks penyimpanan kolom. Untuk informasi selengkapnya tentang penggunaan DROP INDEX dan contohnya, lihat DROP INDEX.

Ekspresi filter partisi kompleks

Misalkan skema tabel contoh my_ts_tbl adalah sebagai berikut:

+------------+-------------+---------+----------------+
| TABLE_NAME | COLUMN_NAME |  TYPE   | IS_PRIMARY_KEY |
+------------+-------------+---------+----------------+
| my_ts_tbl  | id          | INT     | true           |
| my_ts_tbl  | ts          | LONG    | true           |
| my_ts_tbl  | col0        | VARCHAR | false          |
| my_ts_tbl  | col1        | INT     | false          |
+------------+-------------+---------+----------------+

Saat membuat indeks penyimpanan kolom, jika bidang kunci primer tabel lebar tidak dapat langsung digunakan dalam ekspresi partisi untuk indeks penyimpanan kolom, Anda dapat menyertakan logika perhitungan dalam ekspresi partisi. Berikut adalah contohnya.

• Buat indeks penyimpanan kolom untuk semua bidang tabel lebar dan partisi data indeks penyimpanan kolom berdasarkan hari menggunakan bidang timestamp ts:

  CREATE INDEX my_ts_idx USING COLUMNAR ON my_ts_tbl(*)
  PARTITION BY ENUMERABLE (ifnull(substring(from_unixtime(ts), 0, 10), 'unknown') AS dt, bucket(128, id))
  WITH (`lindorm_columnar.user.index.database` = 'my_ts_index_db',
        `lindorm_columnar.user.index.table` = 'my_ts_index_tbl');

• Setelah indeks penyimpanan kolom dibuat, Anda dapat menentukan kondisi filter dalam pernyataan kueri untuk mengkueri data dalam indeks penyimpanan kolom.

  SELECT /*+ _use_ldps_ */ COUNT(1)
  FROM lindorm_columnar.my_ts_index_db.my_ts_index_tbl
  WHERE dt = '2020-06-06';

Buat indeks penyimpanan kolom hanya untuk data inkremental

Untuk melewati data historis dalam tabel lebar dan hanya membuat indeks penyimpanan kolom untuk data inkremental, tentukan parameter lindorm_columnar.user.syncer.skip.fullsync = 'true'. Berikut adalah contohnya:

CREATE INDEX my_tbl_idx USING COLUMNAR ON my_tbl(*)
PARTITION BY ENUMERABLE (pk1, pk2, bucket(128, pk0))
WITH (`lindorm_columnar.user.index.database` = 'my_index_db',
      `lindorm_columnar.user.index.table` = 'my_index_tbl',
      `lindorm_columnar.user.syncer.skip.fullsync` = 'true');

Perluas dan simpan bidang JSON

Indeks penyimpanan kolom mendukung perluasan dan penyimpanan bidang JSON selama sinkronisasi data. Dua metode didukung: perluasan dan penyimpanan statis serta perluasan dan penyimpanan dinamis.

Misalkan tabel contoh my_json_tbl memiliki skema tabel berikut:

+-------------+-------------+--------+----------------+
| TABLE_NAME  | COLUMN_NAME |  TYPE  | IS_PRIMARY_KEY |
+-------------+-------------+--------+----------------+
| my_json_tbl | id          | BIGINT | true           |
| my_json_tbl | col1        | INT    | false          |
| my_json_tbl | json_col    | JSON   | false          |
+-------------+-------------+--------+----------------+

Jalankan pernyataan berikut untuk memasukkan data berformat JSON:

UPSERT INTO my_json_tbl (id,col1,json_col) VALUES(2,2,'{"a": {"b": {"c": "hello,world", "d": 123}, "e": false }, "f": 3.14}');

json_col memiliki struktur berikut:

{
  "a": {
    "b": {
      "c": "hello,world",
      "d": 123
    },
    "e": false
  },
  "f": 3.14
}

CREATE INDEX columnar_idx USING COLUMNAR ON my_json_tbl(*) 
PARTITION BY ENUMERABLE (ifnull(id%16, 0) as dt, bucket(16,id)) 
WITH (
  `lindorm_columnar.user.syncer.lci.jsonMapping.json_col` = 'a.b.c VARCHAR, a.e BOOLEAN ,f DOUBLE',
  `lindorm_columnar.user.index.database` = 'my_index_db',
  `lindorm_columnar.user.index.table` = 'my_index_tbl');

CREATE INDEX columnar_idx USING COLUMNAR ON my_json_tbl(*) 
PARTITION BY ENUMERABLE (ifnull(id%16, 0) as dt, bucket(16,id)) 
WITH (
  `lindorm_columnar.user.syncer.lci.dynamicJsonColumns` = 'json_col',
  `lindorm_columnar.user.index.database` = 'my_index_db',
  `lindorm_columnar.user.index.table` = 'my_index_tbl');

Saat Anda mengonfigurasi bidang JSON untuk perluasan dan penyimpanan statis atau perluasan dan penyimpanan dinamis, bidang JSON asli tidak disimpan dalam tabel berorientasi kolom. Selain itu, nama bidang JSON yang diperluas dalam tabel berorientasi kolom diberi awalan dengan nama bidang JSON yang sesuai.

Misalnya, saat Anda menggunakan `lindorm_columnar.user.syncer.lci.jsonMapping.json_col` = 'a.b.c VARCHAR, a.e BOOLEAN' untuk menentukan perluasan JSON statis untuk indeks penyimpanan kolom, tabel berorientasi kolom tidak akan berisi kolom bernama json_col. Sebagai gantinya, tabel tersebut akan berisi kolom-kolom berikut:

• Kolom bernama json_col.a.b.c bertipe STRING yang menyimpan nilai a.b.c dari bidang json_col.

• Kolom bernama json_col.a.e bertipe BOOLEAN yang menyimpan nilai a.e dari bidang json_col.

Jika Anda tetap ingin menyinkronkan bidang JSON asli, atau tidak ingin nama bidang JSON yang diperluas dalam tabel berorientasi kolom diberi awalan dengan nama bidang JSON yang sesuai, Anda dapat menggunakan metode berikut:

Rasakan evolusi skema secara dinamis (Pratinjau publik)

Selama sinkronisasi data, indeks penyimpanan kolom dapat secara dinamis mendeteksi perubahan skema dalam tabel data dan menerapkannya pada skema tabel berorientasi kolom. Saat membuat indeks penyimpanan kolom, Anda dapat menentukan `lindorm_columnar.user.syncer.lci.dynamicSchema` = 'true' untuk memastikan skema tabel berorientasi kolom tetap konsisten dengan skema tabel utama. Berikut adalah contohnya:

CREATE INDEX my_tbl_idx USING COLUMNAR
ON my_tbl(*) 
PARTITION BY ENUMERABLE (pt_d, bucket(128, pk0))
WITH (
  `lindorm_columnar.user.index.database` = 'my_index_db',
  `lindorm_columnar.user.index.table` = 'my_index_tbl',
  `lindorm_columnar.user.syncer.lci.dynamicSchema` = 'true');

Tambahkan kolom ke tabel berorientasi kolom (Pratinjau publik)

Setelah membuat indeks penyimpanan kolom, Anda dapat menggunakan sintaks ALTER INDEX untuk menambahkan bidang ke indeks penyimpanan kolom tanpa melakukan pengindeksan ulang. Anda dapat menambahkan bidang reguler atau kolom pemetaan untuk perluasan statis bidang JSON.

Misalkan skema tabel my_json_tbl adalah sebagai berikut:

+-------------+-------------+---------+----------------+
|  TABLE_NAME | COLUMN_NAME |  TYPE   | IS_PRIMARY_KEY |
+-------------+-------------+---------+----------------+
| my_json_tbl | id          | BIGINT  | true           |
| my_json_tbl | col1        | INT     | false          |
| my_json_tbl | col2        | VARCHAR | false          |
| my_json_tbl | json_col1   | JSON    | false          |
| my_json_tbl | json_col2   | JSON    | false          |
+--------------+-------------+---------+----------------+

Anda dapat menggunakan pernyataan SQL berikut untuk membuat indeks penyimpanan kolom:

CREATE INDEX columnar_idx USING COLUMNAR ON my_json_tbl(id, col1, json_col1) 
PARTITION BY ENUMERABLE (ifnull(id%16, 0) as dt, bucket(16,id)) 
WITH (
  `lindorm_columnar.user.syncer.lci.jsonMapping.json_col1` = 'a.b.c VARCHAR, a.e BOOLEAN',
  `lindorm_columnar.user.index.database` = 'my_index_db',
  `lindorm_columnar.user.index.table` = 'my_index_tbl');

Pada tahap ini, tabel berorientasi kolom tidak berisi kolom yang terkait dengan col2 atau json_col2. Anda dapat menggunakan pernyataan berikut untuk menambahkan bidang reguler ke indeks penyimpanan kolom:

ALTER INDEX IF EXISTS columnar_idx ON my_json_tbl ADD COLUMNS(col2);

Anda juga dapat menggunakan pernyataan berikut untuk menambahkan aturan pemetaan statis untuk bidang JSON ke indeks penyimpanan kolom:

ALTER INDEX IF EXISTS columnar_idx ON my_json_tbl
ADD COLUMNS (
  json_extract_long(json_col2, '$.key1'),
  json_extract_boolean(json_col2, '$.key2'),
  json_extract_double(json_col2, '$.key3.key4')
);