MaxCompute:MaxCompute が管理する Iceberg テーブル (ベータ版)

概要

MaxCompute は、Apache Iceberg テーブルを Object Storage Service (OSS) 上に保存し、メタデータ、権限、ライフサイクルを統合的に管理します。Iceberg テーブルは Spark、Flink、Trino、Presto などのオープンソースエンジンと互換性があり、レイクハウスアーキテクチャにおけるマルチエンジンでのデータ共有を実現します。

オープンな Iceberg フォーマットにより、データサイロが解消され、Spark、Flink、Hive とのシームレスなデータ共有が可能になります。ベンダーロックインを回避し、各ワークロードに最適なコンピュートエンジンを選択できます。また、オープン標準により長期的なデータの移植性が保証され、マルチクラウド環境下での組織間連携もサポートされます。

MaxCompute が管理する Iceberg テーブルには、以下の特徴があります。

• Iceberg レイクテーブルのデータ管理：

  MaxCompute SQL を使用して OSS 上で Iceberg テーブルの作成、読み取り、書き込みが可能です。DDL、DML、タイムトラベル、スキーマ進化、パーティション進化をサポートします。

• 自動バックグラウンドメンテナンス：

  コンパクション、スナップショットの期限切れ処理、メタデータのアーカイブを組み込みの最適化機能が自動で実行するため、手動でのメンテナンスが不要です。

• メタデータの一貫性：

  MaxCompute Metastore (MaxMeta) が ACID に準拠した書き込みによりテーブルメタデータを管理します。外部エンジンは MaxCompute ストレージ書き込み API または MaxCompute ネイティブエンジンを使用する必要があり、複数の書き込み元によるメタデータ競合を防止します。

• オープンエコシステムとの統合：

  Trino、Presto、Spark、Flink、Doris がネイティブに管理対象の Iceberg テーブルにアクセスでき、低遅延かつ高同時実行数でのマルチエンジンクエリが可能です。

• 統合された権限管理：データレイクおよびデータウェアハウスの権限を単一システムで定義できます。RAM 権限とデータウェアハウスのアクセス制御を統合し、エンタープライズ向けのレイクハウスセキュリティを実現します。

注意事項

MaxCompute が管理する Iceberg テーブルに対して以下の操作を行うと、データ損失やデータの読み取り不能が発生する可能性があります。

テーブルの作成

CREATE ICEBERG TABLE [IF NOT EXISTS] <table name> (
  <col_name> <data_type>,
  ...
)
PARTITIONED BY (<partitionExpression>)
WITH CONNECTION <connection name>
OPTIONS(
  location='<oss_location>'
)
;

CREATE ICEBERG TABLE mc_iceberg_table (
  id bigint COMMENT 'ユーザーの一意な ID',
  name string COMMENT 'ユーザー名',
  age bigint COMMENT 'ユーザーの年齢',
  gender string COMMENT 'ユーザーの性別',
  height float COMMENT 'ユーザーの身長',
  birthday date COMMENT 'ユーザーの生年月日',
  phone_number string COMMENT 'ユーザーの電話番号',
  email string COMMENT 'ユーザーのメールアドレス',
  address string COMMENT 'ユーザーの住所',
  salary decimal(18, 2) COMMENT 'ユーザーの給与',
  create_time timestamp COMMENT 'ユーザー情報の作成時刻',
  update_time timestamp COMMENT 'ユーザー情報の最終更新時刻',
  is_deleted boolean COMMENT 'ユーザー情報が削除されたかどうかを示すフラグ',
  dt string COMMENT 'パーティションフィールド'
)
PARTITIONED BY (dt)
WITH CONNECTION <connection name>
OPTIONS(
  location='oss://oss-cn-<region>-internal.aliyuncs.com/<oss bucket>/Demo-iceberg/'
);

データの書き込み

• MaxCompute 書き込み構文：構文の説明をご参照ください。

• 例：

  SET odps.sql.type.system.odps2=true;
  SET odps.sql.decimal.odps2=true;
  
  INSERT INTO mc_iceberg_table VALUES
      (1, 'Zhang San', 18, 'Male', cast (178.56 as float), DATE '1990-01-01', '13800000000', 'zhangsan@example.com', 'Haidian District, Beijing', 5000.00, TIMESTAMP '2023-04-19 11:32:00', TIMESTAMP '2023-04-19 11:32:00', false,'20260402'),
      (2, 'Li Si', 20, 'Female', cast (162.70 as float), DATE '1992-02-02', '13900000000', 'lisi@example.com', 'Pudong New Area, Shanghai', 6000.00, TIMESTAMP '2023-04-19 11:32:00', TIMESTAMP '2023-04-19 11:32:00',false,'20260401'),
      (3, 'Wang Wu', 22, 'Male', cast (185.21 as float), DATE '1994-03-03', '14000000000', 'wangwu@example.com', 'Nanshan District, Shenzhen', 7000.00, TIMESTAMP '2023-04-19 11:32:00', TIMESTAMP '2023-04-19 11:32:00', false,'20260403')
  ;

データの照会と分析

• SELECT 構文：構文の説明をご参照ください。

• 例：

  SELECT * FROM mc_iceberg_table;
  
  -- 次の結果が返されます:
  +------------+------+------------+--------+--------+----------+--------------+-------+---------+--------+-------------+-------------+------------+----+
  | id         | name | age        | gender | height | birthday | phone_number | email | address | salary | create_time | update_time | is_deleted | dt |
  +------------+------+------------+--------+--------+----------+--------------+-------+---------+--------+-------------+-------------+------------+----+
  | 1          | Zhang San  | 18         | Male   | 178.56 | 1990-01-01 | 13800000000  | zhangsan@example.com | Haidian District, Beijing | 5000   | 2023-04-19 03:32:00 | 2023-04-19 03:32:00 | false      | 20260402 |
  | 2          | Li Si      | 20         | Female | 162.7  | 1992-02-02 | 13900000000  | lisi@example.com     | Pudong New Area, Shanghai | 6000   | 2023-04-19 03:32:00 | 2023-04-19 03:32:00 | false      | 20260401 |
  | 3          | Wang Wu    | 22         | Male   | 185.21 | 1994-03-03 | 14000000000  | wangwu@example.com   | Nanshan District, Shenzhen| 7000   | 2023-04-19 03:32:00 | 2023-04-19 03:32:00 | false      | 20260403 |
  +------------+------+------------+--------+--------+----------+--------------+-------+---------+--------+-------------+-------------+------------+----+

Iceberg 外部テーブルと管理対象テーブルの比較

CREATE EXTERNAL TABLE [if NOT EXISTS] <mc_oss_extable_name>
(
 <col_name> <data_type>,
 ...
)
[COMMENT <table_comment>]
[PARTITIONED BY (<col_name> <data_type>, ...)]
STORED AS ICEBERG
WITH SERDEPROPERTIES (
 'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole'
)
LOCATION '<oss_location>' 
TBLPROPERTIES ('<tbproperty_name>'='<tbproperty_value>',...);

CREATE [OR REPLACE] ICEBERG TABLE [IF NOT EXISTS] <table name> 
(
 <col_name> <data_type>,
 ...
)
PARTITIONED BY (<partitionExpression>)
WITH CONNECTION <connection name>
OPTIONS(
 <identifier> = expr,
 ...
)
[LIFECYCLE <days>];

サポートされるデータの型

制限事項

• バージョンに関する制限

  • Iceberg SDK 1.6.1 と互換性のある機能のみがサポートされます。

  • Iceberg テーブルフォーマット v2 のみが読み取り/書き込みに対応しています。

  • Iceberg v3 フォーマットの機能はサポートされていません。

• サポートされる操作

  • MaxCompute データの型：データの型 (バージョン 1.0) および データの型 (バージョン 2.0)。

  • スキーマ進化は現在、カラムの追加および削除のみをサポートしています。

  • パーティションプルーニングがサポートされています。有効になっていない場合は、申請リンクからフィードバックを送信するか、MaxCompute 開発者コミュニティ DingTalk グループ（グループ ID：11782920）にご参加ください。

• サポートされない操作

  • MaxCompute が管理する Iceberg テーブルについて：

    • テーブル名の変更文はサポートされていません。

    • XCOPY 跨域复制文はサポートされていません。

    • CLONE TABLE 文および RENAME TABLE 文はサポートされていません。

    • 名前を変更する テーブルスナップショット のステートメントはサポートされていません。

    • カラムのデフォルト値の設定はサポートされていません。

    • カラムのデータの型の変更はサポートされていません。

    • マテリアライズドビュー操作はサポートされていません。

    • UPDATE 文はサポートされていません。

    • 行レベルのアクセス制御はサポートされていません。

    • TRUNCATE 文はサポートされていません。

    • CDC（非公開プレビュー）はサポートされていません。

    • ローカルバックアップはサポートされていません。

    • CREATE OR REPLACE 文はサポートされていません。

    • LOAD コマンドおよび UNLOAD コマンドはサポートされていません。

  • コンソールでのクエリおよび API 応答では、管理対象 Iceberg テーブルのストレージサイズが 0 バイトと表示されます。