:Paimon 外部テーブル

ステップ 1： Flink でのデータ準備

Paimon Catalog と Paimon テーブルを作成し、テーブルにデータを挿入します。参考となる操作手順は次のとおりです。 Flink に Paimon テーブルとデータが既にある場合は、このステップをスキップできます。

1. Realtime Compute for Apache Flink コンソールにログインし、Paimon Catalog を作成します。 詳細な操作手順については、「カタログの作成」をご参照ください。

2. Paimon テーブルを作成します。 詳細な操作手順については、「テーブルの管理」をご参照ください。

   1. [メタデータ管理] ページで、作成した Paimon Catalog 配下の [default] を選択し、[テーブルの作成] をクリックします。

   2. [テーブルの追加] ダイアログボックスで、[Apache Paimon] コネクタを選択し、次のステートメントを入力して [OK] をクリックします。 本書では、test_tbl テーブルを例として使用します。

      CREATE TABLE `catalogname`.`default`.test_tbl (
          dt STRING,
          id BIGINT,
          data STRING,
          PRIMARY KEY (dt, id) NOT ENFORCED
      ) PARTITIONED BY (dt);

   3. [SQL 開発] ページで、次のステートメントを含む SQL ジョブを作成し、ジョブをデプロイして実行します。 SQL ジョブの作成と実行の詳細については、「ジョブ開発の概要」をご参照ください。

      INSERT INTO `catalogname`.`default`.test_tbl VALUES ('2023-04-21', 1, 'AAA'), ('2023-04-21', 2, 'BBB'), ('2023-04-22', 1, 'CCC'), ('2023-04-22', 2, 'DDD');

      説明

      • SQL ジョブのエンジンバージョンが vvr-8.0.1-flink-1.17 以降であることを確認してください。

      • SQL ジョブがストリーミングジョブ (例えば INSERT INTO ... VALUES ... ステートメントを実行する場合) である場合は、[ジョブの運用保守] ページで Execution Parameters を編集し、その他の設定 で execution.checkpointing.checkpoints-after-tasks-finish.enabled: true を設定する必要があります。 ジョブの実行パラメーターを設定する方法の詳細については、「ジョブデプロイの設定」をご参照ください。

ステップ 2： MaxCompute プロジェクトへの Paimon プラグインのアップロード

次のいずれかの方法で、作成済みの MaxCompute プロジェクトに Paimon プラグインをアップロードできます。

ADD JAR <path_to_paimon_maxcompute_connector.jar>;

ステップ 3： MaxCompute での Paimon 外部テーブルの作成

odpscmd を使用して MaxCompute に接続するか、MaxCompute SQL を実行できる他のツールを使用して、MaxCompute Paimon 外部テーブルを作成します。 本書では、oss_extable_paimon_1pt を例として使用します。

CREATE EXTERNAL TABLE oss_extable_paimon_1pt
(
    id BIGINT,
    data STRING
)
PARTITIONED BY (dt STRING )
stored BY 'org.apache.paimon.hive.PaimonStorageHandler'
WITH serdeproperties (
    'odps.properties.rolearn'='acs:ram::124*********:role/aliyunodpsdefaultrole'
)
location 'oss://oss-cn-beijing-internal.aliyuncs.com/paimon_flink/test_db_y.db/test_tbl/'
USING 'paimon_maxcompute_connector.jar'
;

ステップ 4： MaxCompute での Paimon 外部テーブルの読み取り

1. ローカルクライアント (odpscmd) を使用するか、MaxCompute SQL を実行できる他のツールを使用して、次のコマンドを実行します。

   SET odps.sql.common.table.planner.ext.hive.bridge = true;
   SET odps.sql.hive.compatible = true;

2. 次のコマンドを実行して、MaxCompute Paimon 外部テーブル oss_extable_paimon_1pt をクエリします。

   SELECT * FROM oss_extable_paimon_1pt;

   実行結果の例は次のとおりです。

   +------------+------------+------------+
   | id         | data       | dt         |
   +------------+------------+------------+
   | 1          | AAA        | 2023-04-21 |
   | 2          | BBB        | 2023-04-21 |
   | 1          | CCC        | 2023-04-22 |
   | 2          | DDD        | 2023-04-22 |
   +------------+------------+------------+

   説明

   実行結果にパーティション情報が表示されない場合は、次のコマンドを実行してパーティション情報を追加してください。

   msck repair table oss_extable_paimon_1pt add partitions;