Realtime Compute for Apache Flink：Kelola katalog Paimon

• Buat tabel Apache Paimon menggunakan pernyataan CREATE TABLE

  Anda dapat membuat database Apache Paimon dengan menjalankan perintah berikut di editor SQL. Untuk petunjuk lebih rinci, lihat Skrip.

  Di database my_db dalam katalog bernama my-catalog, buat tabel partisi dengan kunci partisi dt, kolom kunci primer dt, shop_id, dan user_id, serta jumlah bucket tetap sebanyak 4. Contoh kode:

  -- Ganti my-catalog dengan nama katalog Apache Paimon Anda. 
  -- Ganti my_db dengan nama database yang sebenarnya. 
  -- Ganti my_tbl dengan nama kustom. 
  CREATE TABLE `my-catalog`.`my_db`.`my_tbl` (
    dt STRING,
    shop_id BIGINT,
    user_id BIGINT,
    num_orders INT,
    total_amount INT,
    PRIMARY KEY (dt, shop_id, user_id) NOT ENFORCED
  ) PARTITIONED BY (dt) WITH (
    'bucket' = '4'
  );

  Untuk informasi selengkapnya mengenai parameter dan penggunaan tabel Apache Paimon, lihat Konektor Apache Paimon dan Tabel kunci primer dan tabel hanya-tambah.

• Buat tabel Apache Paimon menggunakan pernyataan CREATE TABLE AS (CTAS) atau CREATE DATABASE AS (CDAS)

  Pernyataan CTAS dan CDAS secara otomatis menyinkronkan data serta perubahan skema tabel, memfasilitasi sinkronisasi dari sumber data seperti MySQL dan Kafka ke katalog Apache Paimon.

  Untuk menyinkronkan data menggunakan pernyataan CTAS dan CDAS, Anda harus deploy the draft dan start the deployment. Untuk informasi selengkapnya, lihat Peta pengembangan pekerjaan dan Mulai penerapan pekerjaan.

  Catatan

  • Saat membuat tabel Apache Paimon menggunakan pernyataan CTAS atau CDAS, Anda tidak dapat menentukan bucket' = '-1' untuk menggunakan tabel kunci primer Apache Paimon atau tabel hanya-tambah Apache Paimon (tabel non-kunci primer) berdasarkan bucketing dinamis.

  • Pernyataan CTAS dan CDAS memungkinkan Anda mengonfigurasi properti untuk tabel fisik dalam klausa WITH saat membuat tabel. Saat penerapan dimulai, properti ini berlaku pada tabel downstream tempat Anda ingin menyinkronkan data. Untuk informasi selengkapnya tentang properti tabel yang didukung oleh pernyataan tersebut, lihat Konektor Apache Paimon.

  • Buat tabel dan sinkronkan data ke tabel tersebut

    Pada contoh kode berikut, tabel Apache Paimon `my-catalog`.`my_db`.`web_sales` dibuat secara otomatis berdasarkan skema tabel mysql.tpcds.web_sales. Data dalam tabel mysql.tpcds.web_sales disinkronkan ke tabel Apache Paimon. Jumlah bucket untuk tabel Apache Paimon diatur ke 4, dan mekanisme pembuatan data inkremental berbasis input digunakan.

    CREATE TABLE IF NOT EXISTS `<catalog name>`.`<db name>`.`<table name>`
    WITH (
      'bucket' = '4',
      'changelog-producer' = 'input'
    ) AS TABLE mysql.tpcds.web_sales;

  • Buat database dan sinkronkan data semua tabel ke database tersebut

    Pada contoh kode berikut, tabel Apache Paimon dibuat secara otomatis di database `my-catalog`.`my_db` berdasarkan skema setiap tabel di database mysql.tpcds. Data semua tabel di database mysql.tpcds disinkronkan ke tabel Apache Paimon. Mekanisme pembuatan data inkremental berbasis input digunakan.

    CREATE DATABASE IF NOT EXISTS `<catalog name>`.`<db name>`
    WITH (
      'changelog-producer' = 'input'
    ) AS DATABASE mysql.tpcds INCLUDING ALL TABLES;

  • Sinkronkan perubahan tipe kolom

    Pernyataan CTAS atau CDAS memungkinkan Anda menambahkan kolom dan mengubah tipe data kolom tertentu saat membuat tabel Apache Paimon. Anda dapat menentukan apakah akan menggunakan mode normalisasi tipe berdasarkan kebutuhan bisnis Anda.

    • Mode non-normalisasi tipe (mode default)

      Tipe kolom tabel Apache Paimon yang dibuat menggunakan pernyataan CTAS atau CDAS sama dengan tipe kolom tabel sumbernya. Aturan perubahan tipe kolom adalah sebagai berikut:

      • Tipe data integer TINYINT, SMALLINT, INT, dan BIGINT dapat diubah ke tipe data integer dengan presisi yang sama atau lebih tinggi. Presisi TINYINT paling rendah dan presisi BIGINT paling tinggi.

      • Tipe data floating-point FLOAT dan DOUBLE dapat diubah ke tipe data floating-point dengan presisi yang sama atau lebih tinggi. Presisi FLOAT paling rendah dan presisi DOUBLE paling tinggi.

      • Tipe data string CHAR, VARCHAR, dan STRING dapat diubah ke tipe data string dengan presisi yang sama atau lebih tinggi.

    • Mode normalisasi tipe

      Saat membuat tabel Apache Paimon menggunakan pernyataan CTAS atau CDAS, Anda dapat menentukan 'enableTypeNormalization' = 'true' dalam klausa WITH untuk mengaktifkan mode normalisasi tipe. Artinya, perubahan tipe data di tabel hulu tidak akan menyebabkan kegagalan penerapan jika tipe data lama dan baru dapat dinormalisasi, yaitu dapat dikonversi ke tipe data yang sama. Aturan normalisasi tipe adalah sebagai berikut:

      • TINYINT, SMALLINT, INT, dan BIGINT dinormalisasi menjadi BIGINT.

      • FLOAT dan DOUBLE dinormalisasi menjadi DOUBLE.

      • CHAR, VARCHAR, dan STRING dinormalisasi menjadi STRING.

      • Tipe data lain tidak dinormalisasi.

      Sebagai contoh,

      • jika Anda mengubah SMALLINT menjadi INT, penerapan berjalan seperti yang diharapkan karena keduanya dinormalisasi menjadi BIGINT;

      • mengubah dari FLOAT ke BIGINT menyebabkan pengecualian karena FLOAT dan BIGINT tidak dapat dinormalisasi.

      Apache Paimon menyimpan data dalam tipe yang dinormalisasi. Misalnya, SMALLINT dan INT dari tabel MySQL menjadi BIGINT di tabel Apache Paimon.

Anda dapat mengelola database Apache Paimon dengan menjalankan perintah berikut di editor SQL. Untuk petunjuk lebih rinci, lihat Skrip.

ALTER TABLE my_table SET (
  'write-buffer-size' = '256 MB',
  'write-buffer-spillable' = 'true'
);

ALTER TABLE my_table RENAME TO my_table_new;

ALTER TABLE my_table RENAME c0 TO c1;

ALTER TABLE my_table DROP (c1, c2);

ALTER TABLE my_table DROP PARTITION (`dt` = '20240108', `hh` = '08'), PARTITION (`dt` = '20240109', `hh` = '07');

ALTER TABLE my_table MODIFY buy_count BIGINT COMMENT 'this is buy count';

ALTER TABLE my_table MODIFY col_a DOUBLE;

Anda dapat menghapus tabel Apache Paimon dengan menjalankan perintah berikut di editor SQL. Untuk informasi selengkapnya, lihat Skrip.

-- Ganti my-catalog dengan nama katalog Apache Paimon Anda. 
-- Ganti my_db dengan nama database Anda. 
-- Ganti my_tbl dengan nama tabel Apache Paimon Anda. 
DROP TABLE `my-catalog`.`my_db`.`my_tbl`;

Jika muncul pesan Pernyataan berikut telah berhasil dijalankan!, berarti tabel Apache Paimon telah dihapus.