MaxCompute：MaxCompute管理的Iceberg表（beta）

功能概述

MaxCompute支援將Apache Iceberg表格儲存體在阿里雲Object Storage Service上，並通過MaxCompute統一管理中繼資料、許可權和資料生命週期，實現高效查詢、寫入和管理。Iceberg表相容Spark、Flink、Trino、Presto等開源引擎，支援多引擎共用同一份資料，適用於湖倉開放（Lakehouse）架構。

通過支援Iceberg開放表格式，MaxCompute打破資料孤島，使數倉與Spark、Flink、Hive等開源引擎無縫共用同一份Iceberg表資料。使用者可按需選擇計算引擎，避免綁定單一技術棧，同時利用Iceberg的開放標準保障資料資產的長期可移植性，並支援包括跨雲情境在內的組織協同。

MaxCompute管理的Iceberg表具備以下特性：

• Iceberg湖表資料管理：

  通過MaxCompute SQL建立和讀寫OSS上的Iceberg表，支援建表、刪表、讀寫、時間旅行（Time Travel）、Schema Evolution和Partition Evolution。

• 自動化後台營運：

  MaxCompute 提供內建的 Iceberg 表最佳化服務，包括小檔案合并（Compaction）、到期快照清理（Expire Snapshots）、中繼資料檔案歸檔等，無需手動調度或營運，顯著降低使用複雜度。

• 中繼資料一致性保障：

  表的中繼資料由 MaxCompute Metastore（MaxMeta） 統一維護，確保所有寫入操作滿足 ACID 事務語義。外部引擎若需寫入 Iceberg 表，需通過 MaxCompute 提供的 Storage Write API 或使用 MaxCompute 內建計算引擎，避免多寫入端導致的中繼資料衝突與資料不一致。

• 開放生態整合：

  開源計算引擎（如 Trino、Presto、Spark、Flink、Doris 等）可以使用Iceberg相容的方式訪問MaxCompute管理的Iceberg表，實現低延遲、高並發的多引擎查詢。

• 統一許可權管理：通過MaxCompute統一管理的中繼資料服務和許可權體系，資料湖的RAM許可權體系和數倉許可權體系可以統一定義，從而提供數倉的企業級許可權管理能力。

注意事項

對MaxCompute管理的Iceberg表執行以下操作會導致資料丟失或不可讀：

建立表

CREATE ICEBERG TABLE [IF NOT EXISTS] <table name> (
  <col_name> <data_type>,
  ...
)
PARTITIONED BY (<partitionExpression>)
WITH CONNECTION <connection name>
OPTIONS(
  location='<oss_location>'
)
;

CREATE ICEBERG TABLE mc_iceberg_table (
  id bigint COMMENT '使用者唯一標識ID',
  name string COMMENT '使用者姓名',
  age bigint COMMENT '使用者年齡',
  gender string COMMENT '使用者性別',
  height float COMMENT '使用者身高',
  birthday date COMMENT '使用者生日',
  phone_number string COMMENT '使用者電話號碼',
  email string COMMENT '使用者電子郵箱',
  address string COMMENT '使用者地址',
  salary decimal(18, 2) COMMENT '使用者薪水',
  create_time timestamp COMMENT '使用者資訊建立時間',
  update_time timestamp COMMENT '使用者資訊更新時間',
  is_deleted boolean COMMENT '使用者資訊是否被刪除的標誌位',
  dt string COMMENT '分區欄位'
)
PARTITIONED BY (dt)
WITH CONNECTION <connection name>
OPTIONS(
  location='oss://<oss bucket>/Demo-iceberg/'
);

寫入資料

• MaxCompute寫入文法詳情，請參見文法說明。

• 樣本如下：

  SET odps.sql.type.system.odps2=true;
  SET odps.sql.decimal.odps2=true;
  
  INSERT INTO mc_iceberg_table VALUES
      (1, '張三', 18, '男', cast (178.56 as float), DATE '1990-01-01', '13800000000', 'zhangsan@example.com', '北京市海澱區', 5000.00, TIMESTAMP '2023-04-19 11:32:00', TIMESTAMP '2023-04-19 11:32:00', false,'20260402'),
      (2, '李四', 20, '女', cast (162.70 as float), DATE '1992-02-02', '13900000000', 'lisi@example.com', '上海市浦東新區', 6000.00, TIMESTAMP '2023-04-19 11:32:00', TIMESTAMP '2023-04-19 11:32:00',false,'20260401'),
      (3, '王五', 22, '男', cast (185.21 as float), DATE '1994-03-03', '14000000000', 'wangwu@example.com', '深圳市南山區', 7000.00, TIMESTAMP '2023-04-19 11:32:00', TIMESTAMP '2023-04-19 11:32:00', false,'20260403')
  ;

查詢分析

• SELECT文法詳情，請參見文法說明。

• 樣本如下：

  SELECT * FROM mc_iceberg_table;
  
  -- 返回結果如下：
  +------------+------+------------+--------+--------+----------+--------------+-------+---------+--------+-------------+-------------+------------+----+
  | id         | name | age        | gender | height | birthday | phone_number | email | address | salary | create_time | update_time | is_deleted | dt |
  +------------+------+------------+--------+--------+----------+--------------+-------+---------+--------+-------------+-------------+------------+----+
  | 1          | 張三 | 18         | 男    | 178.56 | 1990-01-01 | 13800000000  | zhangsan@example.com | 北京市海澱區 | 5000   | 2023-04-19 03:32:00 | 2023-04-19 03:32:00 | false      | 20260402 |
  | 2          | 李四 | 20         | 女    | 162.7  | 1992-02-02 | 13900000000  | lisi@example.com | 上海市浦東新區 | 6000   | 2023-04-19 03:32:00 | 2023-04-19 03:32:00 | false      | 20260401 |
  | 3          | 王五 | 22         | 男    | 185.21 | 1994-03-03 | 14000000000  | wangwu@example.com | 深圳市南山區 | 7000   | 2023-04-19 03:32:00 | 2023-04-19 03:32:00 | false      | 20260403 |
  +------------+------+------------+--------+--------+----------+--------------+-------+---------+--------+-------------+-------------+------------+----+

Iceberg外部表格與MaxCompute管理的Iceberg表對比

CREATE EXTERNAL TABLE [if NOT EXISTS] <mc_oss_extable_name>
(
 <col_name> <data_type>,
 ...
)
[COMMENT <table_comment>]
[PARTITIONED BY (<col_name> <data_type>, ...)]
STORED AS ICEBERG
WITH SERDEPROPERTIES (
 'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole'
)
LOCATION '<oss_location>' 
TBLPROPERTIES ('<tbproperty_name>'='<tbproperty_value>',...);

CREATE [OR REPLACE] ICEBERG TABLE [IF NOT EXISTS] <table name> 
(
 <col_name> <data_type>,
 ...
)
PARTITIONED BY (<partitionExpression>)
WITH CONNECTION <connection name>
OPTIONS(
 <identifier> = expr,
 ...
)
[LIFECYCLE <days>];

支援資料類型

使用限制

• 版本限制

  • 目前僅支援 Iceberg sdk 1.6.1 相容feature。

  • 目前僅支援 Iceberg table format v2 資料讀寫。

  • 暫不支援 Iceberg v3 format feature。

• 支援操作

  • MaxCompute資料類型詳情請參見1.0資料類型版本、2.0資料類型版本。

  • Schema Evolution目前僅支援添加列和刪除列。

  • 支援分區剪裁，若發現未開啟，可以通過申請連結或搜尋（DingTalk群號：11782920）加入MaxCompute開發人員社區釘群反饋。

• 暫不支援操作

  • MaxCompute管理的Iceberg表

    • 不支援改表名語句。

    • 不支援XCOPY跨地區複製 語句。

    • 不支援CLONE TABLE修改表名語句。

    • 不支援錶快照（Snapshot）修改表名語句。

    • 不支援設定欄位預設值。

    • 不支援修改列的資料類型。

    • 不支援物化視圖操作。

    • 不支援UPDATE。

    • 不支援行級存取控制。

    • 不支援TRUNCATE。

    • 不支援CDC（邀測）。

    • 不支援本地備份。

    • 不支援 CREATE OR REPLACE 語句。

    • 不支援 LOAD 和 UNLOAD 命令。

  • 通過控制台或 API 查詢時，MaxCompute管理的Iceberg表會顯示 0 位元組的儲存大小。