MaxCompute:Paimon 外部テーブル

サポートされるデータ型

MaxCompute のデータ型の詳細については、「データ型 (バージョン 1.0)」および「データ型 (バージョン 2.0)」をご参照ください。

構文

異なるフォーマットの外部テーブルの構文の詳細については、「OSS 外部テーブル」をご参照ください。

CREATE EXTERNAL TABLE  [if NOT EXISTS] <mc_oss_extable_name>
(
  <col_name> <data_type>,
  ...
)
[COMMENT <table_comment>]
[PARTITIONED BY (<col_name> <data_type>, ...)]
STORED BY 'org.apache.paimon.hive.PaimonStorageHandler'
WITH serdeproperties (
  'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole'
)
LOCATION '<oss_location>';

共通パラメーター

共通パラメーターの詳細については、「基本構文パラメーター」をご参照ください。

ステップ 1：前提条件

1. MaxCompute プロジェクトを作成済みであること。

2. OSS バケットとフォルダーを準備します。詳細については、「バケットの作成」および「フォルダーの管理」をご参照ください。

   MaxCompute は一部のリージョンにのみデプロイされています。データの接続性の問題を避けるため、ご利用の MaxCompute プロジェクトと同じリージョンにある OSS バケットを使用してください。

3. 権限付与

   1. OSS にアクセスするための権限が必要です。Alibaba Cloud アカウント、RAM ユーザー、または RAM ロールを使用して OSS 外部テーブルにアクセスできます。権限付与の詳細については、「OSS の STS 権限付与」をご参照ください。

   2. MaxCompute プロジェクトで `CreateTable` 権限が必要です。テーブル操作の権限の詳細については、「MaxCompute の権限」をご参照ください。

ステップ 2：Flink でのデータ準備

Paimon カタログと Paimon テーブルを作成し、そのテーブルにデータを挿入します。以下に例を示します。

1. Paimon ファイルシステムカタログの作成

   1. Flink コンソールにログインし、左上隅でリージョンを選択します。

   2. 目的のワークスペースをクリックします。 左側のナビゲーションウィンドウで、[カタログ] を選択します。

   3. [カタログリスト] ページで、右側の [カタログの作成] をクリックします。[カタログの作成] ダイアログボックスで、Apache Paimon を選択し、[次へ] をクリックして、次のパラメーターを設定します:

      パラメーター	必須	説明
      metastore	必須	メタストアのタイプ。この例では、filesystem を選択します。
      catalog name	必須	カスタムのカタログ名。例：paimon-catalog。
      warehouse	必須	OSS で指定されたデータウェアハウスディレクトリ。例：oss://paimon-fs/paimon-test/。
      fs.oss.endpoint	必須	OSS サービスのエンドポイント。たとえば、中国 (杭州) リージョンのエンドポイントは oss-cn-hangzhou-internal.aliyuncs.com です。
      fs.oss.accessKeyId	必須	OSS サービスへのアクセスに必要な AccessKey ID。
      fs.oss.accessKeySecret	必須	OSS サービスへのアクセスに必要な AccessKey Secret。

2. Paimon テーブルの作成

   1. Flink コンソールにログインし、左上隅でリージョンを選択します。

   2. 対象のワークスペース名をクリックし、左側のナビゲーションウィンドウで [開発] > [スクリプト] を選択します。

   3. [新規スクリプト] タブでは、 をクリックして新しいクエリスクリプトを作成できます。

      次のコマンドを入力し、[実行] をクリックします。

      CREATE TABLE `paimon-catalog`.`default`.test_tbl (
          id BIGINT,
          data STRING,
          dt STRING,
          PRIMARY KEY (dt, id) NOT ENFORCED
      ) PARTITIONED BY (dt);
      
      INSERT INTO `paimon-catalog`.`default`.test_tbl VALUES (1,'CCC','2024-07-18'), (2,'DDD','2024-07-18');

3. SQL ジョブが有界ストリームジョブである場合 (例：INSERT INTO ... VALUES ... 文を実行するジョブ)、次の手順を実行します：

   1. 対象のワークスペース名をクリックします。左側のナビゲーションウィンドウで、[O&M] > [デプロイメント]を選択します。

   2. [デプロイメント] ページで、対象のジョブの名前をクリックすると、その[設定] ページが開きます。

   3. ジョブの実行時パラメーターを設定する方法の詳細については、「ジョブデプロイメント情報の設定」をご参照ください。

ステップ 3：MaxCompute での Paimon 外部テーブルの作成

MaxCompute で、次の SQL 文を実行して MaxCompute Paimon 外部テーブルを作成します。

CREATE EXTERNAL TABLE oss_extable_paimon_pt
(
    id BIGINT,
    data STRING
)
PARTITIONED BY (dt STRING )
STORED BY 'org.apache.paimon.hive.PaimonStorageHandler'
WITH serdeproperties (
    'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole'
)
LOCATION 'oss://oss-cn-<your-region>-internal.aliyuncs.com/<table_path>'
;

上記の文で、table_path は Flink の Paimon テーブルへのパスです。例：paimon-fs/paimon-test/default.db/test_tbl。パスを取得するには、次の手順を実行します：

1. Flink コンソールにログインし、左上隅でリージョンを選択します。

2. 対象のワークスペースの名前をクリックします。左側のナビゲーションウィンドウで、[カタログ] を選択します。

ステップ 4：パーティションデータのインポート

作成した OSS 外部テーブルがパーティションテーブルである場合は、パーティションデータもインポートする必要があります。詳細については、「OSS 外部テーブルにパーティションデータを追加するための構文」をご参照ください。

MSCK REPAIR TABLE oss_extable_paimon_pt ADD PARTITIONS;

ステップ 5：MaxCompute を使用した Paimon 外部テーブルの読み取り

MaxCompute で、次の文を実行して MaxCompute Paimon 外部テーブル `oss_extable_paimon_pt` をクエリします。

SET odps.sql.common.table.planner.ext.hive.bridge = true;
SET odps.sql.hive.compatible = true;
SELECT * FROM oss_extable_paimon_pt WHERE dt='2024-07-18';

次の結果が返されます：

+------------+------------+------------+
| id         | data       | dt         | 
+------------+------------+------------+
| 1          | CCC        | 2024-07-18 | 
| 2          | DDD        | 2024-07-18 | 
+------------+------------+------------+

Paimon 外部テーブルからデータを読み取る際に kSIGABRT エラーが発生するのはなぜですか？

• エラーメッセージ：

  ODPS-0123144: Fuxi job failed - kSIGABRT(errCode:6) at Odps/*****_SQL_0_1_0_job_0/M1@f01b17437.cloud.eo166#3. 
    Detail error msg: CRASH_CORE, maybe caused by jvm crash, please check your java udf/udaf/udtf. 
    | fatalInstance: Odps/*****_SQL_0_1_0_job_0/M1#0_0 

• 原因：

  このエラーは、Java Native Interface (JNI) モードを使用して TIMESTAMP_NTZ 型のデータを読み取る場合に発生します。

• 解決策：

  テーブルからデータを読み取る前に、次の文を実行してネイティブスイッチを有効にします：SET odps.sql.common.table.jni.disable.native=true;。