Lindorm:Mengakses data berorientasi kolom

Parameter CHS

Konfigurasikan atribut cold/hot storage (CHS) di dalam TBLPROPERTIES saat membuat atau mengubah tabel.

Jenis penyimpanan yang didukung

Untuk penyimpanan cloud: CAPACITY_CLOUD_STORAGE (default), STANDARD_CLOUD_STORAGE, PERFORMANCE_CLOUD_STORAGE, CLOUD_ARCHIVE_STORAGE

Penyimpanan arsip (CLOUD_ARCHIVE_STORAGE) sedang dalam pratinjau internal. Hubungi dukungan teknis Lindorm (DingTalk ID: s0s3eg3) untuk mengaktifkannya.

Untuk disk lokal: CAPACITY_CLOUD_STORAGE (default), LOCAL_SSD_STORAGE, LOCAL_HDD_STORAGE, LOCAL_EBS_STORAGE

Token pola `CHS_EXP`

Fungsi toSec() menghitung waktu data maksimum untuk partisi yang cocok. Misalnya, untuk partisi year=2023, month=10, day=2:

• toSec(year, yyyy) mengembalikan 2023-12-31 23:59:59

• toSec(year, yyyy, month, MM) mengembalikan 2023-10-31 23:59:59

• toSec(year, yyyy, month, MM, day, dd) mengembalikan 2023-10-02 23:59:59

Untuk satu bidang tanggal gabungan, misalnya date=2023-10-02:

• toSec(date, yyyy-MM-dd) mengembalikan 2023-10-02 23:59:59

Contoh

Contoh 1: Pindahkan data yang lebih tua dari satu bulan (2.592.000 detik) ke Capacity storage (L2):

CREATE TABLE table0 (col0 INT, year STRING, month STRING, day STRING)
PARTITIONED BY (year, month)
TBLPROPERTIES (
  'CHS'    = '2592000',
  'CHS_L2' = 'storagetype=CAPACITY_CLOUD_STORAGE',
  'CHS_EXP'= 'toSec(year,yyyy,month,MM,day,dd)'
);

Contoh 2: Perbarui kebijakan pada table0—pindahkan data yang lebih tua dari satu bulan ke Capacity storage, dan data yang lebih tua dari tiga bulan (5.184.000 detik) ke penyimpanan arsip:

ALTER TABLE table0
SET TBLPROPERTIES (
  'CHS'    = '2592000,5184000',
  'CHS_L2' = 'storagetype=CAPACITY_CLOUD_STORAGE',
  'CHS_L3' = 'storagetype=CLOUD_ARCHIVE_STORAGE',
  'CHS_EXP'= 'toSec(year,yyyy,month,MM,day,dd)'
);

Contoh 3: Buat tabel dengan satu bidang partisi dt (format: yyyy/MM/dd, misalnya 2020/12/1). Pindahkan data yang lebih tua dari satu bulan ke Capacity storage dan data yang lebih tua dari tiga bulan ke penyimpanan arsip:

CREATE TABLE table1 (col0 INT, dt STRING)
PARTITIONED BY (dt)
TBLPROPERTIES (
  'CHS'    = '2592000,5184000',
  'CHS_L2' = 'storagetype=CAPACITY_CLOUD_STORAGE',
  'CHS_L3' = 'storagetype=CLOUD_ARCHIVE_STORAGE',
  'CHS_EXP'= 'toSec(dt,yyyy/MM/dd)'
);

Catatan penggunaan

• Tetapkan CHS saat membuat tabel, atau perbarui nanti dengan ALTER TABLE ... SET TBLPROPERTIES.

• Jika CHS dikonfigurasi salah, tabel berhasil dibuat atau diperbarui, tetapi data tidak secara otomatis dipindahkan antar tingkat penyimpanan.

• Dumping berjalan secara asinkron. Data tetap dapat diakses selama proses berlangsung, tetapi kinerja akses mungkin bervariasi tergantung pada tingkat penyimpanan.

• Pemisahan panas-dingin hanya didukung untuk partisi berbasis waktu.

Tentukan kunci primer untuk kueri titik

Pencarian berdasarkan kunci primer merupakan jalur kueri tercepat. Untuk tabel besar, tentukan kunci primer dan lakukan kueri dalam rentang kunci sempit untuk kinerja terbaik.

Tabel contoh:

USE lindorm_columnar;
CREATE TABLE orders (
  o_orderkey      INT    NOT NULL,
  o_custkey       INT,
  o_orderstatus   STRING,
  o_totalprice    DOUBLE,
  o_orderdate     STRING,
  o_orderpriority STRING,
  o_clerk         STRING,
  o_shippriority  INT,
  o_comment       STRING)
PARTITIONED BY (bucket(1024, o_orderkey))
TBLPROPERTIES (
  'primary-key' = 'o_orderkey');

Pencarian titik:

USE lindorm_columnar;
SELECT * FROM orders WHERE o_orderkey = 18394;

Pemindaian rentang (rentang sempit memberikan kinerja lebih baik):

USE lindorm_columnar;
SELECT count(*) FROM orders WHERE o_orderkey > 100000 AND o_orderkey < 200000;

Tambahkan partisi untuk mengisolasi data

Partisi dalam mesin penyimpanan berorientasi kolom secara fisik terisolasi. Kueri yang difilter berdasarkan kunci partisi akan melewati partisi yang tidak relevan sepenuhnya.

Tabel contoh dengan partisi tanggal:

USE lindorm_columnar;
CREATE TABLE orders (
  o_orderkey      INT    NOT NULL,
  o_custkey       INT,
  o_orderstatus   STRING,
  o_totalprice    DOUBLE,
  o_orderdate     STRING  NOT NULL,
  o_orderpriority STRING,
  o_clerk         STRING,
  o_shippriority  INT,
  o_comment       STRING)
PARTITIONED BY (o_orderdate, bucket(1024, o_orderkey))
TBLPROPERTIES (
  'primary-key' = 'o_orderdate,o_orderkey');

Kueri data satu hari:

USE lindorm_columnar;
SELECT o_orderdate, count(*) FROM orders WHERE o_orderdate = '2022-01-01' GROUP BY o_orderdate;

Kueri rentang tanggal:

USE lindorm_columnar;
SELECT o_orderdate, count(*)
FROM orders
WHERE o_orderdate >= '2022-01-01' AND o_orderdate <= '2022-01-07'
GROUP BY o_orderdate;

Tingkatkan kinerja pemindaian dengan compact data

Setelah compact menggunakan rewrite_data_files, data diurutkan berdasarkan kunci primer dalam setiap partisi, yang secara signifikan meningkatkan kinerja pemindaian. Untuk hanya mengkueri data yang telah dicompact dan melewati data inkremental, atur read.scan-major-rewritten-files-only ke true.

Tabel contoh:

CREATE TABLE mydb.mytable (
  id    INT    NOT NULL,
  city  STRING NOT NULL,
  name  STRING,
  score INT)
PARTITIONED BY (city, bucket(4, id))
TBLPROPERTIES (
  'primary-key' = 'id,city');

Memadatkan seluruh tabel:

CALL lindorm_columnar.system.rewrite_data_files(table => 'mydb.mytable');

Compact partisi tertentu:

CALL lindorm_columnar.system.rewrite_data_files(table => 'mydb.mytable', where => 'city=\"beijing\"');

Batasi kueri hanya pada data yang telah dicompact:

ALTER TABLE mydb.mytable SET TBLPROPERTIES ('read.scan-major-rewritten-files-only' = true);

Akselerasi kueri non-kunci primer dengan kunci pengurutan

Setelah compact, data diurutkan berdasarkan kunci primer. Untuk mempercepat kueri pada kolom non-kunci primer, tentukan kunci pengurutan lalu compact ulang data tersebut.

Tabel contoh:

USE lindorm_columnar;
CREATE TABLE orders (
  o_orderkey      INT    NOT NULL,
  o_custkey       INT,
  o_orderstatus   STRING,
  o_totalprice    DOUBLE,
  o_orderdate     STRING,
  o_orderpriority STRING,
  o_clerk         STRING,
  o_shippriority  INT,
  o_comment       STRING)
PARTITIONED BY (bucket(1024, o_orderkey))
TBLPROPERTIES (
  'primary-key'                          = 'o_orderkey',
  'read.scan-major-rewritten-files-only' = 'true');

Tetapkan kunci pengurutan:

ALTER TABLE orders WRITE ORDERED BY o_shippriority, o_totalprice;

Compact untuk menerapkan urutan pengurutan:

CALL lindorm_columnar.system.rewrite_data_files(table => 'orders');

Kueri menggunakan kunci pengurutan:

USE lindorm_columnar;
SELECT count(*) FROM orders WHERE o_shippriority = 0;

USE lindorm_columnar;
SELECT count(*) FROM orders WHERE o_shippriority = 0 AND o_totalprice > 999.9;