Data Lake Formation:Tabel Paimon

Tabel primary key

Jenis tabel ini menggunakan primary key sebagai pengenal unik dan dirancang untuk skema pemrosesan data aliran. Tabel ini memungkinkan Anda melakukan pembaruan, penyisipan, dan penghapusan real-time pada catatan dalam tabel. Tabel ini juga secara otomatis menghasilkan log perubahan yang akurat untuk dikonsumsi sistem downstream sebagai aliran. Selain itu, tabel primary key mendukung kueri data efisien berdasarkan kondisi primary key.

• Contoh Flink SQL

  CREATE TABLE orders (
    order_id BIGINT,
    price    BIGINT,
    customer STRING,
    PRIMARY KEY NOT ENFORCED(order_id)
  );

• Contoh Spark SQL

  CREATE TABLE orders (
    order_id BIGINT,
    price    BIGINT,
    customer STRING
  ) TBLPROPERTIES (
    'primary-key' = 'order_id'
  );

Produk DLF menggunakan mode Postpone Bucket secara default. Strategi alokasi bucket adaptif ini secara dinamis menyesuaikan jumlah bucket berdasarkan volume data partisi. Hal ini mencegah degradasi performa baca akibat terlalu banyak bucket atau masalah performa tulis karena terlalu sedikit bucket. Dengan mekanisme cerdas ini, Anda tidak perlu khawatir tentang konfigurasi bucket. Namun, mode Postpone memperkenalkan latensi data. Data yang baru ditulis tidak terlihat hingga proses kompaksi selesai.

Untuk menghindari latensi, lakukan langkah-langkah berikut:

1. Gunakan Flink (VVR 11.4 atau lebih baru) atau Spark (esr-4.5 atau lebih baru). Di mode Postpone, versi baru menulis batch langsung ke bucket, sehingga menghilangkan latensi.

2. Untuk tabel yang sensitif terhadap latensi, atur secara eksplisit jumlah bucket. Contohnya: 'bucket' = '5'. Kami merekomendasikan satu bucket untuk setiap 1 GB data partisi.

Sistem secara dinamis menyesuaikan jumlah bucket berdasarkan karakteristik data dan beban lalu lintas. Sistem juga melakukan operasi penskalaan pada waktu yang tepat untuk memastikan efisiensi penyimpanan serta performa baca dan tulis. Baca deskripsi kebijakan berikut untuk mempelajari lebih lanjut tentang kebijakan penskalaan ini.

Untuk konfigurasi terkait bisnis lainnya, Anda dapat menentukan hal-hal berikut:

• merge-engine untuk melakukan perhitungan yang lebih kompleks.

• Aktifkan Deletion Vectors (deletion-vectors.enabled) untuk meningkatkan performa kueri secara signifikan.

  Catatan

  Setelah Anda mengaktifkan fitur ini, semua data yang baru ditulis hanya terlihat setelah kompaksi, terlepas dari jenis mode bucket.

• changelog-producer yang diatur ke 'lookup' untuk menghasilkan log perubahan bagi pembacaan aliran downstream.

• sequence.field untuk menangani skenario out-of-order dan mendapatkan urutan pembaruan yang benar.

Jika data upstream adalah data Change Data Capture (CDC), gunakan Flink CDC atau produk integrasi data untuk memperbarui data ke dalam data lake. Ini menyediakan kemampuan seperti sinkronisasi database penuh, pembuatan tabel otomatis, dan sinkronisasi skema tabel.

Jika Anda ingin tabel primary key mencapai kueri berkinerja tinggi di engine OLAP, kami sangat merekomendasikan mengaktifkan mode "deletion vectors". Meskipun mengonsumsi lebih banyak sumber daya kompaksi, mode ini memberikan kueri OLAP yang lebih stabil dan berkinerja lebih tinggi.

Tabel append-only

Jika suatu tabel tidak memiliki primary key, tabel tersebut disebut tabel append-only. Berbeda dengan tabel primary key, tabel append-only tidak mendukung pembaruan aliran langsung, tetapi performa pemrosesan batch-nya jauh lebih baik.

1. Tabel ini mendukung penulisan aliran dan pembacaan aliran. Backend DLF secara otomatis menggabungkan file kecil untuk meningkatkan ketepatan waktu data dengan biaya komputasi yang lebih rendah.

2. Tabel ini mendukung operasi data detail halus, seperti DELETE, UPDATE, dan MERGE INTO. Tabel ini juga menyediakan fitur manajemen versi dan time travel untuk memenuhi berbagai kebutuhan bisnis.

3. Tabel ini mendukung kueri yang dipercepat melalui pengurutan dan definisi bitmap. Engine OLAP memiliki performa baca langsung yang sangat baik.

Kami merekomendasikan penggunaan tabel append-only dalam sebagian besar skenario pemrosesan batch atau skenario pemrosesan aliran tanpa primary key. Dibandingkan dengan tabel primary key, tabel append-only lebih sederhana dan mudah digunakan, sekaligus tetap memenuhi kebutuhan penulisan dan kueri data yang efisien.

• Contoh Flink SQL

  CREATE TABLE orders (
    order_id BIGINT,
    price    BIGINT,
    customer STRING
  );

• Contoh Spark SQL

  CREATE TABLE orders (
    order_id BIGINT,
    price    BIGINT,
    customer STRING
  );