Realtime Compute for Apache Flink：Tabel kunci utama dan tabel append-only

Jika Anda menentukan 'merge-engine' = 'first-row', Paimon hanya mempertahankan catatan data pertama dalam kasus di mana beberapa catatan memiliki kunci utama yang sama. Dibandingkan dengan mesin deduplicate, mesin first-row hanya menghasilkan changelog tipe INSERT, yang meningkatkan efisiensi produksi changelog.

Dalam contoh ini, pernyataan DDL berikut digunakan untuk membuat tabel Paimon.

CREATE TABLE T (
  k INT,
  v1 DOUBLE,
  v2 STRING,
  PRIMARY KEY (k) NOT ENFORCED
) WITH (
  'merge-engine' = 'first-row'
);

Jika +I(1, 2.0, 'apple'), +I(1, 4.0, 'banana'), dan +I(1, 8.0, 'cherry') ditulis ke tabel secara berurutan, hasil dari query SELECT * FROM T WHERE k = 1 adalah (1, 2.0, 'apple').

Paimon menggabungkan setiap kolom dalam catatan data yang memiliki kunci utama yang sama berdasarkan fungsi agregat yang ditentukan. Gunakan fields.<field-name>.aggregate-function untuk menentukan fungsi agregat untuk setiap kolom yang tidak termasuk dalam kunci utama. Jika tidak, fungsi agregat last_non_null_value digunakan.

Dalam contoh berikut, kolom harga diagregasi menggunakan fungsi max, dan kolom penjualan diagregasi menggunakan fungsi sum.

CREATE TABLE T (
  product_id BIGINT,
  price DOUBLE,
  sales BIGINT,
  PRIMARY KEY (product_id) NOT ENFORCED
) WITH (
  'merge-engine' = 'aggregation',
  'fields.price.aggregate-function' = 'max',
  'fields.sales.aggregate-function' = 'sum'
);

Jika +I(1, 23.0, 15) dan +I(1, 30.2, 20) ditulis ke tabel secara berurutan, hasil dari query SELECT * FROM T WHERE product_id = 1 adalah (1, 30.2, 35).

Daftar berikut menjelaskan fungsi agregat yang didukung dan tipe data:

• sum: mendukung DECIMAL, TINYINT, SMALLINT, INTEGER, BIGINT, FLOAT, dan DOUBLE.

• product: mendukung DECIMAL, TINYINT, SMALLINT, INTEGER, BIGINT, FLOAT, dan DOUBLE.

• count: mendukung INTEGER dan BIGINT.

• max atau min: mendukung CHAR, VARCHAR, DECIMAL, TINYINT, SMALLINT, INTEGER, BIGINT, FLOAT, DOUBLE, DATE, TIME, TIMESTAMP, dan TIMESTAMP_LTZ.

• first_value atau last_value: mendukung semua tipe data, termasuk null.

• first_not_null_value dan last_non_null_value: mendukung semua tipe data.

• listagg: mendukung STRING.

• bool_and dan bool_or: BOOLEAN

Jika Anda menentukan 'merge-engine' = 'partial-update', Anda dapat memperbarui kolom dalam catatan data yang ada secara bertahap dengan menggunakan nilai terbaru dari catatan yang memiliki kunci utama yang sama. Nilai null tidak akan menimpa nilai yang ada.

Dalam contoh ini, pernyataan DDL berikut digunakan untuk membuat tabel Paimon.

CREATE TABLE T (
  k INT,
  v1 DOUBLE,
  v2 BIGINT,
  v3 STRING,
  PRIMARY KEY (k) NOT ENFORCED
) WITH (
  'merge-engine' = 'partial-update'
);

Jika +I(1, 23.0, 10, NULL), +I(1, NULL, NULL, 'This is a book'), dan +I(1, 25.2, NULL, NULL) ditulis ke tabel secara berurutan, hasil dari query SELECT * FROM T WHERE k = 1 adalah (1, 25.2, 10, 'This is a book').Anda juga dapat menentukan parameter terkait grup urutan dan fungsi agregat dalam klausa WITH.

Anda juga dapat menentukan parameter terkait grup urutan dan fungsi agregat di dalam klausa WITH.

• Gunakan grup urutan untuk menentukan urutan penggabungan

  Jika Anda menggabungkan kolom dari tabel yang berbeda untuk membuat tabel lebar, Anda dapat menggunakan grup urutan untuk menentukan urutan partial-update dari kolom yang berbeda untuk menangani catatan data yang tidak berurutan.

  Dalam contoh berikut, kolom a dan b diperbarui dalam urutan menaik dari nilai dalam kolom g_1, dan kolom c dan d diperbarui dalam urutan menaik dari nilai dalam kolom g_2.

  CREATE TABLE T (
    k INT,
    a STRING,
    b STRING,
    g_1 INT,
    c STRING,
    d STRING,
    g_2 INT,
    PRIMARY KEY (k) NOT ENFORCED
  ) WITH (
    'merge-engine' = 'partial-update',
    'fields.g_1.sequence-group' = 'a,b',
    'fields.g_2.sequence-group' = 'c,d'
  );

• Gunakan grup urutan dan fungsi agregat bersama-sama

  Anda juga dapat menentukan fields.<field-name>.aggregate-function dalam klausa WITH untuk menerapkan fungsi agregat pada kolom yang ditentukan oleh <field-name>. Kolom yang ditentukan oleh <field-name> harus termasuk dalam grup urutan. Anda dapat menggunakan semua fungsi agregat yang didukung oleh mesin agregasi.

  Dalam contoh berikut, kolom a dan b diperbarui dalam urutan menaik dari nilai dalam kolom g_1. Hasil akhir berisi nilai non-null terbaru dalam kolom a dan nilai maksimum dalam kolom b. Kolom c dan d diperbarui dalam urutan menaik dari nilai dalam kolom g_2. Hasil akhir berisi nilai non-null terbaru dalam kolom c dan jumlah nilai dalam kolom b.

  CREATE TABLE T (
    k INT,
    a STRING,
    b INT,
    g_1 INT,
    c STRING,
    d INT,
    g_2 INT,
    PRIMARY KEY (k) NOT ENFORCED
  ) WITH (
    'merge-engine' = 'partial-update',
    'fields.g_1.sequence-group' = 'a,b',
    'fields.b.aggregate-function' = 'max',
    'fields.g_2.sequence-group' = 'c,d',
    'fields.d.aggregate-function' = 'sum'
  );