MaxCompute：Paimon外部表格

支援資料類型

MaxCompute資料類型請參見1.0資料類型版本和2.0資料類型版本。

文法結構

各格式的外部表格文法結構詳情，請參見OSS外部表格。

CREATE EXTERNAL TABLE  [if NOT EXISTS] <mc_oss_extable_name>
(
  <col_name> <data_type>,
  ...
)
[COMMENT <table_comment>]
[PARTITIONED BY (<col_name> <data_type>, ...)]
STORED BY 'org.apache.paimon.hive.PaimonStorageHandler'
WITH serdeproperties (
  'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole'
)
LOCATION '<oss_location>';

公用參數

公用參數說明請參見基礎文法參數說明。

步驟一：前置準備

1. 已建立MaxCompute專案。

2. 已準備好OSS儲存空間（Bucket）、OSS目錄。具體操作請參見建立儲存空間、管理目錄。

   由於MaxCompute只在部分地區部署，跨地區的資料連通性可能存在問題，因此建議Bucket與MaxCompute專案所在地區保持一致。

3. 授權

   1. 具備訪問OSS的許可權。阿里雲帳號（主帳號）、RAM使用者或RAMRole身份可以訪問OSS外部表格，授權資訊請參見OSS的STS模式授權。

   2. 已具備在MaxCompute專案中建立表（CreateTable）的許可權。表操作的許可權資訊請參見MaxCompute許可權。

步驟二：在Flink中準備資料

建立Paimon Catalog和Paimon表，並在表中插入資料，樣本如下。

1. 建立Paimon Filesystem Catalog

   1. 登入Flink控制台，在左上方選擇地區。

   2. 單擊目標工作空間名稱，然後在左側導覽列，選擇資料管理。

   3. 在右側Catalog列表 介面，單擊建立Catalog 。在彈出的建立 Catalog 對話方塊裡，選擇Apache Paimon，單擊下一步 並配置如下參數：

      參數	是否必填	說明
      metastore	必填	中繼資料存放區類型。本樣本中選擇filesystem。
      catalog name	必填	自訂catalog名稱，例如paimon-catalog。
      warehouse	必填	OSS服務中所指定的數倉目錄。本樣本中oss://paimon-fs/paimon-test/。
      fs.oss.endpoint	必填	OSS服務的endpoint，例如杭州地區為oss-cn-hangzhou-internal.aliyuncs.com。
      fs.oss.accessKeyId	必填	訪問OSS服務所需的Access Key ID。
      fs.oss.accessKeySecret	必填	訪問OSS服務所需的Access Key Secret。

2. 建立Paimon表

   1. 登入Flink控制台，在左上方選擇地區。

   2. 單擊目標工作空間名稱，然後在左側導覽列，選擇資料開發 > 資料查詢。

   3. 在查詢指令碼頁簽，單擊，建立查詢指令碼。

      輸入如下命令後，單擊運行。

      CREATE TABLE `paimon_catalog`.`default`.test_tbl (
          id BIGINT,
          data STRING,
          dt STRING,
          PRIMARY KEY (dt, id) NOT ENFORCED
      ) PARTITIONED BY (dt);
      
      INSERT INTO `paimon-catalog`.`default`.test_tbl VALUES (1,'CCC','2024-07-18'), (2,'DDD','2024-07-18');

3. 若SQL作業有限流作業（例如執行INSERT INTO ... VALUES ...語句），需要執行以下操作：

   1. 單擊目標工作空間名稱，然後在左側導覽列，選擇營運中心 > 作業營運。

   2. 在作業營運頁面，單擊目標作業名稱，進入作業部署詳情頁面。

   3. 在運行參數配置地區，單擊編輯，在其他配置中設定execution.checkpointing.checkpoints-after-tasks-finish.enabled: true代碼並儲存。

      配置作業的運行參數詳情，請參見配置作業部署資訊。

步驟三：通過MaxCompute建立Paimon外表

在MaxCompute中執行以下SQL代碼，建立MaxCompute Paimon外部表格。

CREATE EXTERNAL TABLE oss_extable_paimon_pt
(
    id BIGINT,
    data STRING
)
PARTITIONED BY (dt STRING )
STORED BY 'org.apache.paimon.hive.PaimonStorageHandler'
WITH serdeproperties (
    'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole'
)
LOCATION 'oss://oss-cn-<your region>-internal.aliyuncs.com/<table_path>'
;

上述代碼中table_path為Flink中建立的Paimon表路徑，例如paimon-fs/paimon-test/default.db/test_tbl。擷取方法如下：

1. 登入Flink控制台，在左上方選擇地區。

2. 單擊目標工作空間名稱，然後在左側導覽列，選擇資料管理。

3. 在中繼資料頁面單擊目標Catalog下的default，並在default頁面中單擊目標表操作列的查看。

4. 在表結構詳情頁簽的表屬性地區擷取path參數值，table_path中僅填寫oss://之後的路徑。

步驟四：引入分區資料

當建立的OSS外部表格為分區表時，需要額外執行引入分區資料的操作，詳情請參見補全OSS外部表格分區資料文法。

MSCK REPAIR TABLE oss_extable_paimon_pt ADD PARTITIONS;

步驟五：通過MaxCompute讀取Paimon外部表格

在MaxCompute中執行以下命令，查詢MaxCompute Paimon外部表格oss_extable_paimon_pt。

SET odps.sql.common.table.planner.ext.hive.bridge = true;
SET odps.sql.hive.compatible = true;
SELECT * FROM oss_extable_paimon_pt WHERE dt='2024-07-18';

返回結果如下：

+------------+------------+------------+
| id         | data       | dt         | 
+------------+------------+------------+
| 1          | CCC        | 2024-07-18 | 
| 2          | DDD        | 2024-07-18 | 
+------------+------------+------------+

讀Paimon外部表格報錯kSIGABRT

• 報錯資訊：

  ODPS-0123144: Fuxi job failed - kSIGABRT(errCode:6) at Odps/*****_SQL_0_1_0_job_0/M1@f01b17437.cloud.eo166#3. 
    Detail error msg: CRASH_CORE, maybe caused by jvm crash, please check your java udf/udaf/udtf. 
    | fatalInstance: Odps/*****_SQL_0_1_0_job_0/M1#0_0 

• 錯誤原因：

  JNI模式下讀取TIMESTAMP_NTZ類型會產生此報錯。

• 解決方案：

  讀表前加上開啟Native開關SET odps.sql.common.table.jni.disable.native=true;。