Data Lake Formation：Tabel Paimon

Tabel kunci primer

Tabel kunci primer adalah tipe tabel yang menggunakan kunci primer sebagai pengenal unik dan dirancang untuk skenario pemrosesan aliran. Tabel ini memungkinkan Anda melakukan operasi pembaruan, penyisipan, dan penghapusan real-time pada catatan dalam tabel. Tabel ini juga secara otomatis menghasilkan log perubahan yang akurat bagi sistem downstream untuk dikonsumsi. Selain itu, tabel kunci primer mendukung kueri data efisien berdasarkan kondisi kunci primer.

• Contoh Flink SQL

  CREATE TABLE orders (
    order_id BIGINT,
    price    BIGINT,
    customer STRING,
    PRIMARY KEY NOT ENFORCED(order_id)
  );

• Contoh Spark SQL

  CREATE TABLE orders (
    order_id BIGINT,
    price    BIGINT,
    customer STRING
  ) TBLPROPERTIES (
    'primary-key' = 'order_id'
  );

Secara default, DLF menggunakan mode Postpone Bucket, yaitu kebijakan alokasi bucket adaptif. Mode ini menyesuaikan jumlah bucket secara dinamis berdasarkan volume data dalam suatu partisi, sehingga mencegah degradasi performa baca akibat terlalu banyak bucket dan masalah performa tulis akibat terlalu sedikit bucket. Mekanisme cerdas ini menghilangkan kebutuhan konfigurasi bucket manual. Namun, mode Postpone memiliki latensi data, artinya data yang baru ditulis tidak terlihat hingga proses kompaksi selesai.

Untuk menghindari latensi ini, Anda dapat melakukan salah satu hal berikut:

1. Gunakan Flink (Ververica Runtime (VVR) 11.4+) atau Spark (esr-4.5+). Di mode Postpone, versi baru menulis batch langsung ke bucket, sehingga menghilangkan latensi.

2. Untuk tabel yang sensitif terhadap latensi, tetapkan jumlah bucket secara eksplisit. Contohnya: 'bucket' = '5'. Kami merekomendasikan satu bucket untuk setiap 1 GB data partisi.

Untuk konfigurasi bisnis lainnya, Anda dapat menentukan hal-hal berikut:

• Mesin merge (merge-engine) untuk melakukan perhitungan yang lebih kompleks.

• Vektor penghapusan (deletion-vectors.enabled) untuk meningkatkan performa kueri secara signifikan.

  Catatan

  Setelah fitur ini diaktifkan, semua data yang baru ditulis hanya terlihat setelah kompaksi, terlepas dari jenis mode bucket yang digunakan.

• Produsen changelog (changelog-producer) yang diatur ke 'lookup' untuk menghasilkan log perubahan bagi pembacaan aliran downstream.

• Bidang urutan (sequence.field) untuk menangani skenario data tidak berurutan dan memastikan urutan pembaruan yang benar.

Jika sumber upstream berupa data Change Data Capture (CDC), Anda dapat menggunakan Flink CDC atau produk integrasi data untuk menulis data ke danau. Hal ini memberikan kemampuan seperti sinkronisasi basis data penuh, pembuatan tabel otomatis, dan sinkronisasi skema tabel.

Untuk kueri berkinerja tinggi pada tabel kunci primer di mesin OLAP, kami sangat merekomendasikan Anda mengaktifkan mode "vektor penghapusan". Meskipun mode ini mengonsumsi lebih banyak sumber daya kompaksi, mode ini memberikan kueri OLAP yang lebih stabil dan berkinerja lebih tinggi.

Tabel append-only

Jika sebuah tabel tidak memiliki kunci primer yang didefinisikan, maka tabel tersebut merupakan tabel append-only. Berbeda dengan tabel kunci primer, tabel append-only tidak mendukung pembaruan aliran langsung, namun performa pemrosesan batch-nya jauh lebih baik.

1. Mendukung penulisan aliran dan pembacaan aliran. Layanan latar belakang DLF secara otomatis menggabungkan file-file kecil untuk meningkatkan ketersediaan data dengan biaya komputasi yang lebih rendah.

2. Mendukung operasi data detail halus, seperti DELETE, UPDATE, dan MERGE INTO. Tabel ini juga menyediakan manajemen versi dan fitur perjalanan waktu untuk memenuhi berbagai kebutuhan bisnis.

3. Mendukung akselerasi kueri melalui pengurutan dan dengan mendefinisikan bitmap, yang memberikan performa baca langsung yang sangat baik untuk mesin OLAP.

Anda dapat menggunakan tabel append-only dalam sebagian besar skenario pemrosesan batch atau dalam skenario pemrosesan aliran yang tidak memiliki kunci primer. Dibandingkan dengan tabel kunci primer, tabel append-only lebih mudah digunakan dan menyediakan penulisan serta kueri data yang efisien.

• Contoh Flink SQL

  CREATE TABLE orders (
    order_id BIGINT,
    price    BIGINT,
    customer STRING
  );

• Contoh Spark SQL

  CREATE TABLE orders (
    order_id BIGINT,
    price    BIGINT,
    customer STRING
  );