Realtime Compute for Apache Flink：管理Paimon Catalog

• 通過CREATE TABLE語句建立表

  在資料查詢文本編輯地區輸入如下命令後，選中代碼後單擊運行。

  在名為my-catalog的Catalog下的my_db的資料庫中，建立一張分區表，其中分區鍵為dt，主鍵為dt、shop_id和user_id，分桶數固定為4。程式碼範例如下。

  --my-catalog需要替換為您建立的Paimon Catalog名稱。
  --my_db需要替換為您想要使用的database名稱。
  --my_tbl也可以改為自訂的英文名稱。
  CREATE TABLE `my-catalog`.`my_db`.`my_tbl` (
    dt STRING,
    shop_id BIGINT,
    user_id BIGINT,
    num_orders INT,
    total_amount INT,
    PRIMARY KEY (dt, shop_id, user_id) NOT ENFORCED
  ) PARTITIONED BY (dt) WITH (
    'bucket' = '4'
  );

  關於Paimon表的更多參數與使用方式，詳情請參見流式資料湖倉Paimon和Paimon主鍵表和Append Only表。

• 通過CREATE TABLE AS（CTAS）語句或CREATE DATABASE AS（CDAS）語句建立表

  CTAS與CDAS語句不僅會自動同步資料，還會同步表結構的變更。通過CTAS與CDAS語句，您可以方便地將MySQL、Kafka等資料來源中的表同步至Paimon Catalog中。

  由於CTAS與CDAS語句涉及資料的同步，您需要部署並啟動作業，具體操作請參見作業開發地圖和作業啟動。

  說明

  • 通過CTAS與CDAS語句建立的Paimon表時，暫不支援設定'bucket' = '-1'以使用動態分桶的Paimon主鍵表或Paimon Append Only表（非主鍵表）。

  • CTAS與CDAS支援在WITH參數中設定物理表屬性，在建立目標表時，同時在表上設定對應的屬性。當作業啟動時，這些參數將被應用到需要同步的下遊表中。具體支援的表屬性參數詳情，請參見流式資料湖倉Paimon。

  • 建立指定表並同步表中的資料

    例如，根據mysql.tpcds.web_sales表的結構，自動建立`my-catalog`.`my_db`.`web_sales`Paimon表，並同步表中的資料。另外指定Paimon表的分桶數為4，以及使用input變更資料產生機制。

    CREATE TABLE IF NOT EXISTS `<catalog name>`.`<db name>`.`<table name>`
    WITH (
      'bucket' = '4',
      'changelog-producer' = 'input'
    ) AS TABLE mysql.tpcds.web_sales;

  • 建立整個資料庫的表

    例如，根據mysql.tpcds資料庫中每張表的結構，自動在`my-catalog`.`my_db`中建立對應的Paimon表，並同步表中的資料。另外指定Paimon表使用input變更資料產生機制。

    CREATE DATABASE IF NOT EXISTS `<catalog name>`.`<db name>`
    WITH (
      'changelog-producer' = 'input'
    ) AS DATABASE mysql.tpcds INCLUDING ALL TABLES;

  • 同步列類型變更

    通過CTAS/CDAS語句建立的Paimon表不僅支援列的增加，還支援特定的列類型變更。您可以根據需要，選擇是否使用欄位類型寬容模式。

    • 預設情況下

      通過CTAS/CDAS語句建立的Paimon表的列類型與源表的列類型一致，並支援以下列類型變更：

      • 支援整數類型TINYINT、SMALLINT、INT、BIGINT變更為精度相同或更高的整數類型，其中TINYINT精度最低，BIGINT精度最高。

      • 支援浮點類型FLOAT、DOUBLE變更為精度相同或更高的浮點類型，其中FLOAT精度最低，DOUBLE精度最高。

      • 支援字串類型CHAR、VARCHAR和STRING變更為精度相同或更高的字串類型。

    • 使用欄位類型寬容模式

      在CTAS與CDAS情境中，Paimon Catalog支援在WITH參數中設定'enableTypeNormalization' = 'true'後，將使用欄位類型寬容模式。在上遊發生資料類型修改事件時，只要所修改的類型與原類型的歸一化類型相同，都視作修改成功。目前類型歸一化規則如下：

      • TINYINT、SMALLINT、INT和BIGINT歸一化為BIGINT。

      • FLOAT和DOUBLE歸一化為DOUBLE。

      • CHAR、VARCHAR和STRING歸一化為STRING。

      • 其他資料類型不進行歸一化。

      例如：

      • SMALLINT修改為INT，兩者的歸一化類型都是BIGINT，視為修改成功，作業正常運行。

      • 從FLOAT改為BIGINT，兩者的歸一化類型分別為DOUBLE和BIGINT，屬於不相容的情況，會拋出異常。

      Paimon表中儲存的資料類型將統一為歸一化後的類型。例如，MySQL中類型分別為SMALLINT和INT的兩列，在Paimon表中均儲存為BIGINT類型。

在資料查詢文本編輯地區輸入如下命令，選中代碼後單擊運行。

ALTER TABLE my_table SET (
  'write-buffer-size' = '256 MB',
  'write-buffer-spillable' = 'true'
);

ALTER TABLE my_table RENAME TO my_table_new;

ALTER TABLE my_table RENAME c0 TO c1;

ALTER TABLE my_table DROP (c1, c2);

ALTER TABLE my_table DROP PARTITION (`dt` = '20240108', `hh` = '08'), PARTITION (`dt` = '20240109', `hh` = '07');

ALTER TABLE my_table MODIFY buy_count BIGINT COMMENT 'this is buy count';

ALTER TABLE my_table MODIFY col_a DOUBLE;

在資料查詢文本編輯地區輸入如下命令，選中代碼後單擊運行。

--my-catalog需要替換為您建立的Paimon Catalog名稱。
--my_db需要替換為您想要使用的database名稱。
--my_tbl需要替換為您建立的Paimon Catalog表名稱。
DROP TABLE `my-catalog`.`my_db`.`my_tbl`;

出現The following statement has been executed successfully!的提示資訊說明Paimon表刪除成功。