Realtime Compute for Apache Flink:Paimon カタログの管理

• CREATE TABLE 文を使用してテーブルを作成する

  [データクエリ] テキストエディターで次のコマンドを入力し、コマンドを選択してから [実行] をクリックします。

  次のサンプルコードは、my-catalog カタログの my_db データベースにパーティションテーブルを作成する方法を示しています。パーティションキーは dt、プライマリキーは dt、shop_id、user_id で構成され、バケット数は 4 に固定されています。

  --my-catalog を作成した Paimon カタログの名前に置き換えます。
  --my_db を使用したいデータベースの名前に置き換えます。
  --my_tbl をカスタムの英語名に置き換えることもできます。
  CREATE TABLE `my-catalog`.`my_db`.`my_tbl` (
    dt STRING,
    shop_id BIGINT,
    user_id BIGINT,
    num_orders INT,
    total_amount INT,
    PRIMARY KEY (dt, shop_id, user_id) NOT ENFORCED
  ) PARTITIONED BY (dt) WITH (
    'bucket' = '4'
  );

  Paimon テーブルのパラメーターと使用方法の詳細については、「ストリーミングデータレイクハウス Paimon」および「Paimon プライマリキーテーブルと追加専用テーブル」をご参照ください。

• CREATE TABLE AS (CTAS) 文またはCREATE DATABASE AS (CDAS) 文を使用してテーブルを作成する

  CTAS および CDAS 文は、データを自動的に同期するだけでなく、テーブルスキーマの変更も同期します。CTAS および CDAS 文を使用して、MySQL や Kafka などのデータソースから Paimon カタログにテーブルを簡単に同期できます。

  CTAS および CDAS 文はデータ同期を必要とするため、ジョブを[デプロイ]して[開始]する必要があります。詳細については、「ジョブ開発マップ」および「ジョブの開始」をご参照ください。

  説明

  • CTAS および CDAS 文を使用して Paimon テーブルを作成する場合、Paimon プライマリキーテーブルまたはPaimon 追加専用テーブル (非プライマリキーテーブル) の動的バケットを使用するために 'bucket' = '-1' を設定することはできません。

  • CTAS および CDAS 文を使用すると、テーブル作成時に WITH 句で物理テーブルのプロパティを設定できます。ジョブが開始されると、これらのプロパティはデータが同期されるダウンストリームテーブルに適用されます。サポートされているテーブルプロパティの詳細については、「ストリーミングデータレイクハウス Paimon」をご参照ください。

  • 指定したテーブルを作成し、そのデータを同期する

    たとえば、mysql.tpcds.web_sales テーブルのスキーマに基づいて、`my-catalog`.`my_db`.`web_sales` という名前の Paimon テーブルが自動的に作成され、テーブル内のデータが同期されます。Paimon テーブルのバケット数は 4 に設定され、入力チェンジログプロデューサーが使用されます。

    CREATE TABLE IF NOT EXISTS `<catalog name>`.`<db name>`.`<table name>`
    WITH (
      'bucket' = '4',
      'changelog-producer' = 'input'
    ) AS TABLE mysql.tpcds.web_sales;

  • データベース全体のテーブルを作成する

    たとえば、mysql.tpcds データベースの各テーブルのスキーマに基づいて、対応する Paimon テーブルが `my-catalog`.`my_db` に自動的に作成され、テーブル内のデータが同期されます。Paimon テーブルには入力チェンジログプロデューサーが使用されます。

    CREATE DATABASE IF NOT EXISTS `<catalog name>`.`<db name>`
    WITH (
      'changelog-producer' = 'input'
    ) AS DATABASE mysql.tpcds INCLUDING ALL TABLES;

  • 列タイプの変更を同期する

    CTAS または CDAS 文を使用して作成された Paimon テーブルは、列の追加だけでなく、特定の列タイプの変更もサポートします。必要に応じて、緩やかなフィールドタイプモードを使用するかどうかを選択できます。

    • デフォルトの動作

      デフォルトでは、CTAS または CDAS 文を使用して作成された Paimon テーブルの列タイプは、ソーステーブルの列タイプと同じです。次の列タイプの変更がサポートされています。

      • 整数型 TINYINT、SMALLINT、INT、および BIGINT は、同じかそれ以上の精度の整数型に変更できます。TINYINT は最も精度が低く、BIGINT は最も精度が高いです。

      • 浮動小数点型 FLOAT および DOUBLE は、同じかそれ以上の精度の浮動小数点型に変更できます。FLOAT は精度が低く、DOUBLE は精度が高いです。

      • 文字列型 CHAR、VARCHAR、および STRING は、同じかそれ以上の精度の文字列型に変更できます。

    • 緩やかなフィールドタイプモードを使用する

      CTAS および CDAS シナリオでは、Paimon カタログは緩やかなフィールドタイプモードをサポートします。このモードを使用するには、WITH 句で 'enableTypeNormalization' = 'true' を設定します。データ型変更イベントがアップストリームで発生した場合、変更された型の正規化された型が元の型の正規化された型と同じであれば、変更は成功したと見なされます。現在の型正規化ルールは次のとおりです。

      • TINYINT、SMALLINT、INT、および BIGINT は BIGINT に正規化されます。

      • FLOAT および DOUBLE は DOUBLE に正規化されます。

      • CHAR、VARCHAR、および STRING は STRING に正規化されます。

      • 他のデータ型は正規化されません。

      例:

      • SMALLINT を INT に変更した場合、両方の正規化された型は BIGINT です。変更は成功したと見なされ、ジョブは通常どおり実行されます。

      • FLOAT を BIGINT に変更した場合、それらの正規化された型はそれぞれ DOUBLE と BIGINT です。これは互換性のない変更であり、例外がスローされます。

      Paimon テーブルに格納されるデータ型は、正規化された型に統一されます。たとえば、MySQL の 2 つの列が SMALLINT 型と INT 型である場合、両方とも Paimon テーブルでは BIGINT 型として格納されます。

[データクエリ] テキストエディターで、次のコマンドを入力して選択し、[実行] をクリックします。

ALTER TABLE my_table SET (
  'write-buffer-size' = '256 MB',
  'write-buffer-spillable' = 'true'
);

ALTER TABLE my_table RENAME TO my_table_new;

ALTER TABLE my_table RENAME c0 TO c1;

ALTER TABLE my_table DROP (c1, c2);

ALTER TABLE my_table DROP PARTITION (`dt` = '20240108', `hh` = '08'), PARTITION (`dt` = '20240109', `hh` = '07');

ALTER TABLE my_table MODIFY buy_count BIGINT COMMENT 'this is buy count';

ALTER TABLE my_table MODIFY col_a DOUBLE;

[データクエリ] テキストエディターで次のコマンドを入力し、コマンドを選択して [実行] をクリックします。

--my-catalog を作成した Paimon カタログの名前に置き換えます。
--my_db を使用したいデータベースの名前に置き換えます。
--my_tbl を作成した Paimon カタログテーブルの名前に置き換えます。
DROP TABLE `my-catalog`.`my_db`.`my_tbl`;

メッセージ The following statement has been executed successfully! が返された場合、Paimon テーブルは削除されます。