Lindorm:Columnstore index

Prasyarat

Sebelum memulai, pastikan Anda telah:

• Mengaktifkan mesin komputasi. Lihat Aktifkan layanan.

• Mengaktifkan LindormDFS versi 4.0.0 atau lebih baru.

• Mengaktifkan mesin tabel lebar versi 2.5.0 atau lebih baru.

Catatan penggunaan

• Indeks penyimpanan kolom tidak dapat dibuat secara sinkron. Proses pembuatan awal memakan waktu sekitar 15 menit; volume data besar atau banyaknya tugas latar belakang akan memperpanjang durasi ini.

• Pembuatan indeks menghasilkan I/O baca pada tabel lebar. Jika pemisahan data panas dan dingin diaktifkan, pembatasan kecepatan pada penyimpanan dingin dapat memperlambat pembuatan indeks dan menyebabkan tekanan balik tulis.

• Setiap tabel lebar hanya mendukung satu indeks penyimpanan kolom. Jika upaya pembuatan sebelumnya gagal, hapus indeks yang gagal tersebut sebelum membuat yang baru.

• Baris yang kedaluwarsa berdasarkan TTL di tabel lebar tidak secara otomatis dihapus dari indeks penyimpanan kolom.

Aktifkan fitur columnstore index

1. Masuk ke Konsol Lindorm.

2. Di pojok kiri atas, pilih wilayah tempat instans ditempatkan.

3. Pada halaman Instances, klik ID instans, atau klik View Instance Details di kolom Actions.

4. Di panel navigasi kiri, pilih Wide Table Engine.

5. Klik tab Columnar Index, lalu klik Activate Now.

6. Pada dialog yang muncul, klik OK.

Panduan cepat

Panduan ini membuat indeks penyimpanan kolom pada tabel lebar bernama my_tbl:

+------------+-------------+---------+----------------+
| TABLE_NAME | COLUMN_NAME |  TYPE   | IS_PRIMARY_KEY |
+------------+-------------+---------+----------------+
| my_tbl     | pk0         | INT     | true           |
| my_tbl     | pk1         | VARCHAR | true           |
| my_tbl     | pt_d        | VARCHAR | true           |
| my_tbl     | col0        | INT     | false          |
| my_tbl     | col1        | VARCHAR | false          |
| my_tbl     | json_col0   | JSON    | false          |
+------------+-------------+---------+----------------+

pk0 mengidentifikasi setiap baris dan memiliki kardinalitas tinggi. pt_d adalah tanggal pembuatan data; analisis biasanya dilakukan per hari.

Langkah 1: Buat indeks.

Pilih pernyataan yang sesuai dengan seberapa sering skema tabel Anda berubah:

• Skema stabil — gunakan jika kolom my_tbl jarang berubah:

  CREATE INDEX my_tbl_idx USING COLUMNAR
  ON my_tbl(*)
  PARTITION BY ENUMERABLE (pt_d, bucket(128, pk0))
  WITH (
    `lindorm_columnar.user.index.database` = 'my_index_db',
    `lindorm_columnar.user.index.table`    = 'my_index_tbl',
    `lindorm_columnar.user.syncer.lci.dynamicJsonColumns` = 'json_col0'
  );

  Skema indeks ditetapkan saat pembuatan berdasarkan skema tabel saat ini dan struktur json_col0.

• Skema berkembang — tambahkan dynamicSchema = 'true' jika kolom mungkin ditambahkan nanti:

  CREATE INDEX my_tbl_idx USING COLUMNAR
  ON my_tbl(*)
  PARTITION BY ENUMERABLE (pt_d, bucket(128, pk0))
  WITH (
    `lindorm_columnar.user.index.database`                = 'my_index_db',
    `lindorm_columnar.user.index.table`                   = 'my_index_tbl',
    `lindorm_columnar.user.syncer.lci.dynamicJsonColumns` = 'json_col0',
    `lindorm_columnar.user.syncer.lci.dynamicSchema`      = 'true'
  );

  Indeks secara otomatis melacak perubahan skema selanjutnya dan konten JSON baru.

Langkah 2: Periksa status indeks.

SHOW INDEX FROM my_tbl;

Untuk penjelasan semua bidang output, lihat SHOW INDEX.

Langkah 3: Kueri menggunakan indeks.

Tambahkan petunjuk _use_ldps_ dan _columnar_index_ untuk mengarahkan kueri melalui mesin komputasi:

SELECT /*+ _use_ldps_(cg0), _columnar_index_ */ COUNT(*), SUM(col0)
FROM my_index_db.my_index_tbl
WHERE pt_d = '2024-01-15'
GROUP BY pk1;

Buat columnstore index

PARTITION BY ENUMERABLE (dt, bucket(200, id))

CREATE INDEX my_tbl_idx USING COLUMNAR
ON my_tbl(pk0, pk1, pk2, col0, col1)
PARTITION BY ENUMERABLE (pk1, pk2, bucket(128, pk0))
WITH (
  `lindorm_columnar.user.index.database` = 'my_index_db',
  `lindorm_columnar.user.index.table`    = 'my_index_tbl'
);

Lihat columnstore index

Setelah dibuat, indeks terus-menerus menyinkronkan data dari tabel lebar—pertama data historis, lalu data inkremental. Selama sinkronisasi inkremental, indeks biasanya tertinggal kurang dari 1 jam dari tabel utama.

SHOW INDEX FROM my_tbl;

Untuk penjelasan semua bidang output, lihat SHOW INDEX.

Kueri dengan columnstore index

Tambahkan petunjuk _use_ldps_ dan _columnar_index_ untuk mengarahkan kueri SELECT Anda melalui mesin komputasi, yang menggunakan indeks penyimpanan kolom untuk mempercepat kueri.

Tanpa petunjuk ini, kueri dijalankan langsung pada tabel lebar dan tidak menggunakan indeks penyimpanan kolom.

SELECT /*+ _use_ldps_(cg0), _columnar_index_ */ COUNT(*), SUM(col0), MIN(col0), MAX(col0)
FROM my_index_db.my_index_tbl
WHERE col0 > 100 AND col0 < 200 OR col0 > 500
GROUP BY pk1;

SELECT /*+ _use_ldps_(cg0), _columnar_index_ */ pk0 + col0, pk1
FROM my_index_db.my_index_tbl
WHERE col0 > 100 AND col0 < 200 OR col0 > 500
ORDER BY pk1
LIMIT 100;

SELECT /*+ _use_ldps_(cg0), _columnar_index_ */ *
FROM my_index_db.my_index_tbl0 AS t0
  JOIN my_index_db.my_index_tbl1 AS t1
    ON t0.pk0 = t1.pk0
   AND t0.pk1 = t1.pk1
LIMIT 100;

Hapus columnstore index

Gunakan DROP INDEX untuk menghapus indeks penyimpanan kolom. Untuk sintaks lengkap dan contoh, lihat DROP INDEX.

Penggunaan lanjutan

+------------+-------------+---------+----------------+
| TABLE_NAME | COLUMN_NAME |  TYPE   | IS_PRIMARY_KEY |
+------------+-------------+---------+----------------+
| my_ts_tbl  | id          | INT     | true           |
| my_ts_tbl  | ts          | LONG    | true           |
| my_ts_tbl  | col0        | VARCHAR | false          |
| my_ts_tbl  | col1        | INT     | false          |
+------------+-------------+---------+----------------+

CREATE INDEX my_ts_idx USING COLUMNAR ON my_ts_tbl(*)
PARTITION BY ENUMERABLE (
  ifnull(substring(from_unixtime(ts), 0, 10), 'unknown') AS dt,
  bucket(128, id)
)
WITH (
  `lindorm_columnar.user.index.database` = 'my_ts_index_db',
  `lindorm_columnar.user.index.table`    = 'my_ts_index_tbl'
);

SELECT /*+ _use_ldps_ */ COUNT(1)
FROM lindorm_columnar.my_ts_index_db.my_ts_index_tbl
WHERE dt = '2020-06-06';

CREATE INDEX my_tbl_idx USING COLUMNAR ON my_tbl(*)
PARTITION BY ENUMERABLE (pk1, pk2, bucket(128, pk0))
WITH (
  `lindorm_columnar.user.index.database`       = 'my_index_db',
  `lindorm_columnar.user.index.table`          = 'my_index_tbl',
  `lindorm_columnar.user.syncer.skip.fullsync` = 'true'
);

+-------------+-------------+--------+----------------+
| TABLE_NAME  | COLUMN_NAME |  TYPE  | IS_PRIMARY_KEY |
+-------------+-------------+--------+----------------+
| my_json_tbl | id          | BIGINT | true           |
| my_json_tbl | col1        | INT    | false          |
| my_json_tbl | json_col    | JSON   | false          |
+-------------+-------------+--------+----------------+

UPSERT INTO my_json_tbl (id, col1, json_col)
VALUES (2, 2, '{"a": {"b": {"c": "hello,world", "d": 123}, "e": false}, "f": 3.14}');

CREATE INDEX columnar_idx USING COLUMNAR ON my_json_tbl(*)
PARTITION BY ENUMERABLE (ifnull(id%16, 0) AS dt, bucket(16, id))
WITH (
  `lindorm_columnar.user.syncer.lci.jsonMapping.json_col` = 'a.b.c VARCHAR, a.e BOOLEAN, f DOUBLE',
  `lindorm_columnar.user.index.database`                  = 'my_index_db',
  `lindorm_columnar.user.index.table`                     = 'my_index_tbl'
);

CREATE INDEX columnar_idx USING COLUMNAR ON my_json_tbl(*)
PARTITION BY ENUMERABLE (ifnull(id%16, 0) AS dt, bucket(16, id))
WITH (
  `lindorm_columnar.user.syncer.lci.dynamicJsonColumns` = 'json_col',
  `lindorm_columnar.user.index.database`                = 'my_index_db',
  `lindorm_columnar.user.index.table`                   = 'my_index_tbl'
);

WITH (
  `lindorm_columnar.user.syncer.lci.jsonMapping.json_col`        = 'a.b.c VARCHAR, a.e BOOLEAN',
  `lindorm_columnar.user.syncer.lci.json.syncOriginalJsonContent` = 'true',
  ...
)

WITH (
  `lindorm_columnar.user.syncer.lci.jsonMapping.json_col`        = 'a.b.c VARCHAR, a.e BOOLEAN',
  `lindorm_columnar.user.syncer.lci.json.ignoreJsonMappingPrefix` = 'true',
  ...
)

CREATE INDEX my_tbl_idx USING COLUMNAR
ON my_tbl(*)
PARTITION BY ENUMERABLE (pt_d, bucket(128, pk0))
WITH (
  `lindorm_columnar.user.index.database`           = 'my_index_db',
  `lindorm_columnar.user.index.table`              = 'my_index_tbl',
  `lindorm_columnar.user.syncer.lci.dynamicSchema` = 'true'
);

+-------------+-------------+---------+----------------+
|  TABLE_NAME | COLUMN_NAME |  TYPE   | IS_PRIMARY_KEY |
+-------------+-------------+---------+----------------+
| my_json_tbl | id          | BIGINT  | true           |
| my_json_tbl | col1        | INT     | false          |
| my_json_tbl | col2        | VARCHAR | false          |
| my_json_tbl | json_col1   | JSON    | false          |
| my_json_tbl | json_col2   | JSON    | false          |
+-------------+-------------+---------+----------------+

CREATE INDEX columnar_idx USING COLUMNAR ON my_json_tbl(id, col1, json_col1)
PARTITION BY ENUMERABLE (ifnull(id%16, 0) AS dt, bucket(16, id))
WITH (
  `lindorm_columnar.user.syncer.lci.jsonMapping.json_col1` = 'a.b.c VARCHAR, a.e BOOLEAN',
  `lindorm_columnar.user.index.database`                   = 'my_index_db',
  `lindorm_columnar.user.index.table`                      = 'my_index_tbl'
);

ALTER INDEX IF EXISTS columnar_idx ON my_json_tbl ADD COLUMNS (col2);

ALTER INDEX IF EXISTS columnar_idx ON my_json_tbl
ADD COLUMNS (
  json_extract_long(json_col2, '$.key1'),
  json_extract_boolean(json_col2, '$.key2'),
  json_extract_double(json_col2, '$.key3.key4')
);

Penagihan

Pembuatan indeks penyimpanan kolom mengenakan dua jenis biaya:

• Penyimpanan: penyimpanan yang dikonsumsi oleh data indeks penyimpanan kolom.

• Compute Unit (CU): CU yang digunakan untuk menyinkronkan data antara tabel lebar dan indeks.

FAQ

Apakah ada biaya tambahan untuk membuat columnstore index?

Ya. Biaya mencakup biaya penyimpanan untuk data indeks dan biaya CU untuk sinkronisasi antara tabel lebar dan indeks.

Apakah ekspresi filter partisi dapat mencakup kolom non-kunci primer?

Tidak. Semua kolom dalam ekspresi filter partisi—baik ekspresi partisi reguler maupun ekspresi bucket—harus merupakan kolom kunci primer dari tabel lebar.

Apakah ekspresi partisi bucket dapat mencakup logika perhitungan?

Tidak. Ekspresi partisi bucket hanya menerima bucket_num dan nama kolom bucket. Gunakan fungsi transformasi (seperti from_unixtime) dalam ekspresi partisi reguler sebagai gantinya.

Apa yang terjadi jika jumlah partisi terlalu banyak atau terlalu sedikit?

Partisi terlalu banyak menyebabkan pembengkakan data, meningkatkan overhead penyimpanan, dan memperlambat kueri. Pertahankan setiap partisi di atas 50 MB dan bucket_num di bawah 1024. Partisi terlalu sedikit membatasi throughput baca/tulis dan menyebabkan kesenjangan data. Pertahankan setiap partisi di bawah 512 MB.

Apakah saya dapat mengkueri columnstore index secara langsung melalui mesin komputasi Lindorm?

Ya. Tentukan nama tabel indeks dalam kueri Anda dan gunakan petunjuk _use_ldps_. Untuk detail penyiapan, lihat Akses data columnstore.

Apakah saya dapat membuat beberapa columnstore index untuk tabel lebar yang sama?

Tidak. Setiap tabel lebar hanya mendukung satu indeks penyimpanan kolom.

Apakah baris yang kedaluwarsa berdasarkan TTL secara otomatis dihapus dari columnstore index?

Tidak. Kedaluwarsa TTL di tabel lebar tidak diteruskan ke indeks penyimpanan kolom.

Pembuatan indeks saya gagal. Mengapa upaya pembuatan baru juga gagal?

Setiap tabel lebar hanya mendukung satu indeks penyimpanan kolom, bahkan ketika indeks berada dalam status gagal. Hapus indeks yang gagal menggunakan DROP INDEX, lalu buat yang baru.