MaxCompute:Paimon 外部テーブル

構文構造

さまざまな形式の外部テーブルの構文の詳細については、「OSS 外部テーブル」をご参照ください。

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name>
(
  <col_name> <data_type>,
  ...
)
[COMMENT <table_comment>]
[PARTITIONED BY (<col_name> <data_type>, ...)]
STORED BY 'org.apache.paimon.hive.PaimonStorageHandler'
WITH serdeproperties (
  'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole'
)
LOCATION '<oss_location>';

共通パラメーター

共通パラメーターの詳細については、「基本構文パラメーター」をご参照ください。

ステップ 1：前提条件

1. すでにMaxCompute プロジェクトを作成済みです。

2. OSS バケットおよび OSS ディレクトリを準備済みである必要があります。詳細については、「バケットの作成」および「フォルダの管理」をご参照ください。

   MaxCompute は特定のリージョンでのみ利用可能であるため、クロスリージョン接続の問題が発生する可能性があります。そのため、MaxCompute プロジェクトと同じリージョンにある OSS バケットの使用を推奨します。

3. 権限付与

   1. OSS へのアクセス権限が必要です。Alibaba Cloud アカウント（ルートユーザー）、Resource Access Management (RAM) ユーザー、または RAM ロールを使用して、OSS 外部テーブルにアクセスできます。権限付与の詳細については、「OSS に対する STS モードによる権限付与」をご参照ください。

   2. MaxCompute プロジェクトで CreateTable 権限を持っている必要があります。テーブル操作権限の詳細については、「MaxCompute 権限」をご参照ください。

ステップ 2：Flink におけるデータの準備

Paimon カタログおよび Paimon テーブルを作成し、以下の例に示すようにテーブルにデータを挿入します。

1. Paimon Filesystem カタログの作成

   1. Flink コンソールにログインし、左上隅からリージョンを選択します。

   2. 対象のワークスペース名をクリックし、左側のナビゲーションウィンドウで Catalogs を選択します。

   3. Catalog List ページで、右側の Create Catalog をクリックします。Create Catalog ダイアログボックスで Apache Paimon を選択し、Next をクリックして、以下のパラメーターを設定します：

      パラメーター	必須	説明
      metastore	必須。	メタストアのタイプです。本例では、filesystem を選択します。
      catalog name	必須	任意のカタログ名（例：paimon-catalog）。
      warehouse	必須	OSS 内のデータウェアハウスディレクトリです。本例では、oss://paimon-fs/paimon-test/ を使用します。
      fs.oss.endpoint	必須	OSS エンドポイントです。たとえば、中国 (杭州) リージョンのエンドポイントは oss-cn-hangzhou-internal.aliyuncs.com です。
      fs.oss.accessKeyId	必須	OSS へのアクセスに必要な AccessKey ID です。
      fs.oss.accessKeySecret	必須	OSS へのアクセスに必要な AccessKey Secret です。

2. Paimon テーブルの作成

   1. Flink コンソールにログインし、左上隅からリージョンを選択します。

   2. 対象のワークスペース名をクリックし、左側のナビゲーションウィンドウで Development > Scritps を選択します。

   3. New Script タブで、 をクリックして新しいクエリスクリプトを作成できます。

      以下のコマンドを入力し、[実行] をクリックします。

      CREATE TABLE `paimon_catalog`.`default`.test_tbl (
          id BIGINT,
          data STRING,
          dt STRING,
          PRIMARY KEY (dt, id) NOT ENFORCED
      ) PARTITIONED BY (dt);
      
      INSERT INTO `paimon-catalog`.`default`.test_tbl VALUES (1,'CCC','2024-07-18'), (2,'DDD','2024-07-18');

3. SQL ジョブがレート制限されている場合（例： INSERT INTO ... VALUES ... 文の実行時）は、以下の手順を実行します：

   1. 対象のワークスペース名をクリックし、左側のナビゲーションウィンドウで O&M > Deployments を選択します。

   2. Deployments ページで、対象ジョブの名前をクリックして、その Configuration ページを開きます。

   3. ジョブ実行時パラメーターの設定方法の詳細については、「ジョブデプロイメント情報の設定」をご参照ください。

ステップ 3：MaxCompute における Paimon 外部テーブルの作成

以下の SQL コードを MaxCompute で実行して、Paimon 外部テーブルを作成します。

CREATE EXTERNAL TABLE oss_extable_paimon_pt
(
    id BIGINT,
    data STRING
)
PARTITIONED BY (dt STRING )
STORED BY 'org.apache.paimon.hive.PaimonStorageHandler'
WITH serdeproperties (
    'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole'
)
LOCATION 'oss://oss-cn-<your region>-internal.aliyuncs.com/<table_path>'
;

上記コードにおいて、table_path は、Flink で作成した Paimon テーブルのパス（例：paimon-fs/paimon-test/default.db/test_tbl）です。このパスを取得するには、以下の手順を実行します：

1. Flink コンソールにログインし、左上隅からリージョンを選択します。

2. 対象のワークスペース名をクリックし、左側のナビゲーションウィンドウで Catalogs を選択します。

ステップ 4：パーティションデータの読み込み

作成した OSS 外部テーブルがパーティション化されている場合、パーティションデータを個別に読み込む必要があります。詳細については、「OSS 外部テーブルのパーティションデータ読み込み構文」をご参照ください。

MSCK REPAIR TABLE oss_extable_paimon_pt ADD PARTITIONS;

ステップ 5：MaxCompute からの Paimon 外部テーブルの読み取り

以下のコマンドを MaxCompute で実行して、Paimon 外部テーブル oss_extable_paimon_pt をクエリします。

SET odps.sql.common.table.planner.ext.hive.bridge = true;
SET odps.sql.hive.compatible = true;
SELECT * FROM oss_extable_paimon_pt WHERE dt='2024-07-18';

結果は以下のとおりです：

+------------+------------+------------+
| id         | data       | dt         | 
+------------+------------+------------+
| 1          | CCC        | 2024-07-18 | 
| 2          | DDD        | 2024-07-18 | 
+------------+------------+------------+

Paimon 外部テーブルの読み取り時に kSIGABRT エラーが発生する

• エラーメッセージ：

  ODPS-0123144: Fuxi ジョブが失敗しました - kSIGABRT(errCode:6) at Odps/*****_SQL_0_1_0_job_0/M1@f01b17437.cloud.eo166#3. 
    詳細なエラーメッセージ：CRASH_CORE、JVM クラッシュが原因である可能性があります。Java UDF/UDAF/UDTF を確認してください。
    | fatalInstance: Odps/*****_SQL_0_1_0_job_0/M1#0_0 

• 原因：

  JNI モードで TIMESTAMP_NTZ データを読み取ろうとした際に発生します。

• 解決策：

  テーブルから読み取る前に、SET odps.sql.common.table.jni.disable.native=true; コマンドを実行してネイティブ機能を無効化します。