:Apache Paimon外部テーブル

ステップ1: Realtime Compute for Apache Flinkでデータを準備する

Apache PaimonカタログとApache Paimonテーブルを作成し、テーブルにデータを挿入します。 このセクションでは、手順について説明します。 Realtime Compute for Apache FlinkでApache Paimonテーブルとデータを使用できる場合は、この手順をスキップしてください。

1. Realtime Compute for Apache Flinkコンソールにログインし、Apache Paimonカタログを作成します。 詳細については、「Apache Paimonカタログの作成」をご参照ください。

2. Apache Paimonテーブルを作成します。 詳細については、「Apache Paimonカタログの管理」をご参照ください。

   1. フルマネージドFlinkのコンソールの左側のナビゲーションウィンドウで、[カタログ] をクリックします。 [カタログ] ペインで、作成したApache Paimonカタログを見つけ、[デフォルト] データベースをクリックします。 次の図に示すように、表示されるページで [テーブルの作成] をクリックします。

      

   2. [テーブルの作成] ダイアログボックスの [組み込み] タブで、[Apache Paimon] をクリックし、[次へ] をクリックします。 [テーブルの作成] ステップで、次のテーブル作成ステートメントを入力し、[確認] をクリックします。 この例では、test_tblという名前のテーブルが作成されます。

      CREATE TABLE `catalogname`.`default`.test_tbl (
          dt STRING,
          id BIGINT,
          data STRING,
          PRIMARY KEY (dt, id) NOT ENFORCED
      ) PARTITIONED BY (dt);

   3. [SQLエディター] ページで、次のステートメントを含むSQLドラフトを作成し、ドラフトをデプロイして、ドラフトのデプロイを実行します。 SQLドラフトの開発と実行方法の詳細については、「SQLドラフトの開発」をご参照ください。

      INSERT INTO `catalogname`.`default`.test_tbl VALUES ('2023-04-21', 1, 'AAA'), ('2023-04-21', 2, 'BBB'), ('2023-04-22', 1, 'CCC'), ('2023-04-22', 2, 'DDD');

      説明

      • SQLドラフトのエンジンバージョンがvvr-8.0.1-flink-1.17以降であることを確認してください。

      • SQLデプロイメントが制限付きストリーミングデプロイメントの場合は、[デプロイメント] ページに移動し、[設定] タブの [パラメーター] セクションの右上隅にある [編集] をクリックし、[その他の設定] フィールドにexecution.checkpointing.checkpoints-after-tasks-finish.enabled: trueを追加します。 たとえば、INSERT INTO... 価値... 文はSQLデプロイメントに含まれており、デプロイメントは制限付きストリーミングデプロイメントです。 デプロイメントのランタイムパラメーターを設定する方法の詳細については、「デプロイメントの設定」をご参照ください。

手順2: Apache PaimonプラグインをMaxComputeプロジェクトにアップロードする

次のいずれかの方法を使用して、Apache Paimon plug-inをMaxComputeプロジェクトにアップロードできます。

ADD JAR <path_to_paimon_maxcompute_connector.jar>;

手順3: MaxComputeクライアント (odpscmd) またはMaxCompute SQLステートメントを実行できるツールを使用してApache Paimon外部テーブルを作成する

MaxComputeクライアント (odpscmd) 上に、またはMaxCompute SQL文を実行できるツールを使用して、Apache Paimon外部テーブルを作成します。 この例では、oss_extable_paimon_1ptという名前の外部テーブルが作成されています。

CREATE EXTERNAL TABLE oss_extable_paimon_1pt
(
    id BIGINT,
    data STRING
)
PARTITIONED BY (dt STRING )
stored BY 'org.apache.paimon.hive.PaimonStorageHandler'
WITH serdeproperties (
    'odps.properties.rolearn'='acs:ram::124*********:role/aliyunodpsdefaultrole'
)
location 'oss://oss-cn-beijing-internal.aliyuncs.com/paimon_flink/test_db_y.db/test_tbl/'
USING 'paimon_maxcompute_connector.jar'
;

手順4: MaxComputeクライアント (odpscmd) またはMaxCompute SQL文を実行できるツールを使用して、Apache Paimon外部テーブルからデータを読み取る

1. MaxComputeクライアント (odpscmd) またはMaxCompute SQLを実行できる他のツールで次のコマンドを実行します。

   SET odps.sql.common.table.planner.ext.hive.bridge = true;
   SET odps.sql.hive.compatible = true;

2. 次のコマンドを実行して、oss_extable_paimon_1ptテーブルからデータを照会します。

   SELECT * FROM oss_extable_paimon_1pt;

   次の応答が返されます。

   +------------+------------+------------+
   | id         | data       | dt         |
   +------------+------------+------------+
   | 1          | AAA        | 2023-04-21 |
   | 2          | BBB        | 2023-04-21 |
   +------------+------------+------------+

   説明

   コマンド出力にパーティション情報が表示されない場合は、次のコマンドを実行してパーティション情報を追加できます。

   msck repair table oss_extable_paimon_1pt add partitions;