Realtime Compute for Apache Flink:Partisi data

Tabel partisi

Di Fluss, tabel partisi mengorganisasi data berdasarkan satu atau beberapa kunci partisi. Pendekatan ini secara efektif meningkatkan performa kueri dan kemudahan pengelolaan untuk set data besar. Partisi membagi data menjadi segmen-segmen, masing-masing sesuai dengan nilai kunci partisi tertentu.

Fluss mendukung tiga strategi pengelolaan berikut untuk tabel partisi:

• Pengelolaan partisi manual: Anda dapat membuat atau menghapus partisi secara manual. Untuk informasi selengkapnya, lihat Manage Partitions.

• Pengelolaan partisi otomatis: Sistem secara otomatis membuat partisi berdasarkan aturan partisi otomatis yang dikonfigurasi saat pembuatan tabel. Sistem juga secara otomatis membersihkan partisi yang telah kedaluwarsa untuk mencegah pertumbuhan data tanpa batas. Untuk informasi selengkapnya, lihat Automatic Partitioning.

• Pembuatan partisi dinamis: Fluss membuat partisi secara dinamis berdasarkan data yang ditulis ke tabel. Untuk informasi selengkapnya, lihat Dynamic Partitioning.

Ketiga strategi ini bersifat ortogonal dan dapat digunakan secara bersamaan pada tabel yang sama.

Tabel partisi multi-bidang

Tabel partisi, baik tabel primary key maupun tabel log, mendukung konfigurasi kunci partisi berdasarkan beberapa bidang. Pendekatan ini memungkinkan partisi data berdasarkan kombinasi nilai bidang, sehingga memberikan organisasi data, pengelolaan, dan optimasi kueri yang lebih granular.

Sebagai contoh, pada tabel primary key Pesanan, Anda dapat menetapkan kunci partisi sebagai (tanggal, wilayah). Data kemudian disimpan dalam partisi yang sesuai dengan kombinasi tertentu, seperti date=2025-04-05, region='US'. Pada kueri streaming, Anda dapat menyaring data—misalnya dengan region='US'—untuk memanfaatkan pemangkasan partisi dan meningkatkan performa baca melalui partition pushdown.

Keunggulan utama tabel partisi

• Performa kueri yang lebih baik: Mengkueri partisi tertentu mengurangi jumlah data yang dibaca sistem, sehingga memperpendek waktu eksekusi kueri.

• Organisasi data yang lebih jelas: Partisi membantu mengorganisasi data secara logis, sehingga lebih mudah dikelola dan dikueri.

• Skalabilitas yang lebih baik: Membagi set data besar menjadi potongan-potongan kecil yang lebih mudah dikelola meningkatkan skalabilitas sistem.

Batasan

• Tipe kunci partisi harus STRING.

• Tabel dengan satu kunci partisi mendukung pembuatan dan pembersihan partisi otomatis. Tabel dengan beberapa kunci partisi hanya mendukung pembersihan otomatis partisi yang kedaluwarsa.

• Jika tabel merupakan tabel primary key, kunci partisi harus merupakan subset dari primary key.

• Anda hanya dapat mengonfigurasi aturan partisi otomatis saat pembuatan tabel; aturan tersebut tidak dapat diubah setelahnya.

Partisi otomatis

CREATE TABLE site_access(
  event_day STRING,  -- Kunci partisi
  site_id INT,       -- ID situs
  city_code STRING,  -- Kode kota
  user_name STRING,  -- Nama pengguna
  pv BIGINT,         -- Jumlah tampilan halaman
  PRIMARY KEY(event_day, site_id) NOT ENFORCED 
) PARTITIONED BY (event_day) WITH (
  'table.auto-partition.enabled' = 'true',            -- Aktifkan partisi otomatis
  'table.auto-partition.time-unit' = 'YEAR',          -- Tetapkan granularitas waktu ke YEAR
  'table.auto-partition.num-precreate' = '5',         -- Pra-buat 5 partisi
  'table.auto-partition.num-retention' = '2',         -- Simpan 2 partisi historis
  'table.auto-partition.time-zone' = 'Asia/Shanghai'  -- Tetapkan zona waktu ke Asia/Shanghai
);

Partisi dinamis

Partisi dinamis adalah fitur sisi client yang diaktifkan secara bawaan, yang secara otomatis membuat partisi saat data ditulis ke tabel. Fitur ini sangat berguna ketika himpunan lengkap partisi belum diketahui sebelumnya, sehingga menghilangkan kebutuhan pembuatan manual. Fitur ini juga sangat berguna saat Anda bekerja dengan partisi multi-bidang karena partisi otomatis saat ini hanya mendukung pembuatan partisi untuk kunci satu bidang saja.

Opsi client

Contoh partisi dinamis

Langkah 1: Buat tabel contoh

Pada bilah navigasi kiri, pilih Development > Scripts, buat skrip kueri data kosong baru, lalu masukkan SQL berikut untuk membuat tabel partisi dengan kolom dt sebagai kunci partisi.

CREATE TABLE IF NOT EXISTS `fluss-demo`.fluss.table_enable_dynamic_partition
(
    id    BIGINT
    ,name STRING
    ,dt   STRING
)
PARTITIONED BY (dt)
WITH (
    'client.writer.dynamic-create-partition.enabled' = 'true'
)
;

Verifikasi partisi saat ini dari tabel:

SHOW PARTITIONS `fluss-demo`.fluss.table_enable_dynamic_partition;

Hasil kueri menunjukkan bahwa daftar partisi tabel kosong.

Langkah 2: Masukkan data secara dinamis

Jalankan pernyataan SQL berikut untuk memasukkan data ke partisi yang belum ada:

INSERT INTO `fluss-demo`.fluss.table_enable_dynamic_partition values(1, 'hello', '20250701');

Langkah 3: Verifikasi pembuatan partisi

Jalankan perintah SHOW PARTITIONS lagi untuk memverifikasi bahwa partisi telah dibuat secara dinamis.

Hasil kueri menunjukkan dt=20250701 pada kolom partition name, yang mengonfirmasi bahwa partisi telah dibuat secara dinamis.