Realtime Compute for Apache Flink：Kelola katalog Paimon

• Buat tabel menggunakan pernyataan CREATE TABLE

  Jalankan perintah berikut di editor SQL dari Development > Scripts.

  Contoh berikut membuat tabel partisi di database my_db dari my-catalog.

  -- Ganti my-catalog dengan nama katalog Paimon Anda.
  -- Ganti my_db dengan nama database yang ingin Anda gunakan.
  -- Anda juga dapat mengganti my_tbl dengan nama kustom dalam bahasa Inggris.
  CREATE TABLE `my-catalog`.`my_db`.`my_tbl` (
    dt STRING,
    shop_id BIGINT,
    user_id BIGINT,
    num_orders INT,
    total_amount INT,
    PRIMARY KEY (dt, shop_id, user_id) NOT ENFORCED
  ) PARTITIONED BY (dt) WITH (
    'bucket' = '4'
  );

  Untuk informasi selengkapnya, lihat Apache Paimon connector dan Primary key tables and append-only tables.

• Buat tabel menggunakan pernyataan CREATE TABLE AS (CTAS) atau CREATE DATABASE AS (CDAS)

  Pernyataan CTAS dan CDAS secara otomatis menyinkronkan data dan perubahan skema tabel. Gunakan pernyataan ini untuk dengan mudah mereplikasi tabel dari sumber seperti MySQL dan Kafka ke Paimon.

  Catatan

  • Mengaktifkan bucketing dinamis dengan mengatur 'bucket' = '-1' tidak didukung untuk Primary key tables atau Append-only tables (without primary keys).

  • Pernyataan CTAS dan CDAS memungkinkan Anda mengonfigurasi properti yang dapat direplikasi ke hilir. Untuk informasi selengkapnya, lihat Paimon connector.

  • Replikasi tabel tertentu

    Contoh berikut secara otomatis membuat tabel Paimon `my-catalog`.`my_db`.`web_sales` berdasarkan skema tabel mysql.tpcds.web_sales dan mereplikasi datanya.

    CREATE TABLE IF NOT EXISTS `<catalog name>`.`<db name>`.`<table name>`
    WITH (
      'bucket' = '4',
      'changelog-producer' = 'input'
    ) AS TABLE mysql.tpcds.web_sales;

  • Replikasi seluruh database

    Contoh berikut secara otomatis membuat tabel Paimon di database `my-catalog`.`my_db` berdasarkan skema setiap tabel di database mysql.tpcds dan mereplikasi datanya.

    CREATE DATABASE IF NOT EXISTS `<catalog name>`.`<db name>`
    WITH (
      'changelog-producer' = 'input'
    ) AS DATABASE mysql.tpcds INCLUDING ALL TABLES;

  • Replikasi perubahan tipe kolom

    Tabel Paimon yang dibuat menggunakan pernyataan CTAS atau CDAS mendukung perubahan tipe kolom tertentu.

    • Replikasi tipe default

      Secara default, tabel Paimon mempertahankan tipe kolom sumber secara eksak. Namun, promosi tipe tertentu didukung tanpa konfigurasi eksplisit:

      • Tipe integer: TINYINT, SMALLINT, INT, dan BIGINT dapat dipromosikan ke tipe integer dengan presisi yang sama atau lebih tinggi. (TINYINT < SMALLINT < INT < BIGINT).

      • Tipe floating-point: FLOAT dan DOUBLE dapat dipromosikan ke tipe floating-point dengan presisi yang sama atau lebih tinggi. (FLOAT < DOUBLE).

      • Tipe string: CHAR, VARCHAR, dan STRING dapat dipromosikan ke tipe string dengan presisi yang sama atau lebih tinggi.

    • Normalisasi tipe

      Untuk mengaktifkan perubahan tipe yang lebih fleksibel dan mencegah kegagalan pekerjaan akibat evolusi skema yang kompatibel, atur 'enableTypeNormalization' = 'true' di klausa WITH pernyataan CTAS/CDAS Anda. Dalam mode ini, Flink menormalkan tipe data selama evolusi skema. Pekerjaan hanya akan gagal jika tipe lama dan baru tidak dapat dinormalisasi ke tipe dasar yang sama. Aturan:

      • TINYINT, SMALLINT, INT, BIGINT dinormalisasi ke BIGINT.

      • FLOAT, DOUBLE dinormalisasi ke DOUBLE.

      • CHAR, VARCHAR, STRING dinormalisasi ke STRING.

      • Tipe data lain tidak dinormalisasi.

    • Dampak normalisasi:

      Saat normalisasi tipe aktif, tipe data yang disimpan di tabel Paimon akan menjadi tipe yang dinormalisasi. Misalnya, jika kolom sumber c1 (SMALLINT) dan c2 (INT) keduanya dinormalisasi ke BIGINT, maka c1 dan c2 akan disimpan sebagai BIGINT di tabel Paimon.

    • Contoh:

      • Berhasil: Jika SMALLINT di sumber berubah menjadi INT, kedua tipe tersebut dinormalisasi ke BIGINT. Ini adalah perubahan yang kompatibel, dan pekerjaan berjalan normal.

      • Gagal: Jika FLOAT di sumber berubah menjadi BIGINT, tipe yang dinormalisasi (DOUBLE dan BIGINT) tidak kompatibel, yang akan menyebabkan pengecualian.

Jalankan perintah berikut di editor SQL dari Development > Scripts.

ALTER TABLE my_table SET (
  'write-buffer-size' = '256 MB',
  'write-buffer-spillable' = 'true'
);

ALTER TABLE my_table RENAME TO my_table_new;

ALTER TABLE my_table RENAME c0 TO c1;

ALTER TABLE my_table DROP (c1, c2);

ALTER TABLE my_table DROP PARTITION (`dt` = '20240108', `hh` = '08'), PARTITION (`dt` = '20240109', `hh` = '07');

ALTER TABLE my_table MODIFY buy_count BIGINT COMMENT 'this is buy count';

ALTER TABLE my_table MODIFY col_a DOUBLE;

Jalankan perintah berikut di editor SQL dari Development > Scripts.

-- Ganti my-catalog dengan nama katalog Paimon Anda.
-- Ganti my_db dengan nama database yang ingin Anda gunakan.
-- Ganti my_tbl dengan nama tabel katalog Paimon yang Anda buat.
DROP TABLE `my-catalog`.`my_db`.`my_tbl`;

Jika pesan The following statement has been executed successfully! dikembalikan, tabel Paimon telah dihapus.