AnalyticDB:Iceberg 外部テーブル (XIHE SQL)

構文

CREATE TABLE [IF NOT EXISTS] <db>.<table> (
    <col1>  <type1>  [COMMENT '<comment>'],
    <col2>  <type2>  [COMMENT '<comment>'],
    ...
)
[COMMENT '<table_comment>']
[PARTITIONED BY (<partition_expr1>[, <partition_expr2>, ...])]
STORED AS ICEBERG
[LOCATION '<oss_path>']
[TBLPROPERTIES (
    '<key1>' = '<value1>',
    ...
)];

TBLPROPERTIES では、以下のテーブルプロパティを設定できます。

外部レイクテーブルの例

-- データベースの作成
CREATE DATABASE IF NOT EXISTS lake_db;

-- 外部レイクの Iceberg テーブルを作成
CREATE TABLE lake_db.orders (
    order_id     BIGINT       COMMENT '注文 ID',
    user_id      BIGINT       COMMENT 'ユーザー ID',
    status       STRING       COMMENT '注文ステータス',
    total_amount DECIMAL(18, 2) COMMENT '注文金額',
    created_at   TIMESTAMP    COMMENT '注文日時',
    dt           DATE         COMMENT 'パーティション日付'
)
COMMENT '注文テーブル'
PARTITIONED BY (dt)
STORED AS ICEBERG
LOCATION 'oss://<your-bucket>/warehouse/lake_db/orders/';

内部レイクテーブルの例

CREATE TABLE lake_db.orders (
    order_id     BIGINT       COMMENT '注文 ID',
    user_id      BIGINT       COMMENT 'ユーザー ID',
    status       STRING       COMMENT '注文ステータス',
    total_amount DECIMAL(18, 2) COMMENT '注文金額',
    created_at   TIMESTAMP    COMMENT '注文日時',
    dt           DATE         COMMENT 'パーティション日付'
)
COMMENT '注文テーブル'
PARTITIONED BY (dt)
STORED AS ICEBERG
TBLPROPERTIES (
    'catalog_type'    = 'ADB',
    'adb_lake_bucket' = 'adb-lake-cn-<region>-xxxx'
);

CTAS (CREATE TABLE AS SELECT)

CTAS は、テーブルを作成すると同時にクエリ結果を書き込みます。列名と型は SELECT 文から推論されます。

CREATE TABLE lake_db.orders_copy
PARTITIONED BY (dt)
STORED AS ICEBERG
LOCATION 'oss://<your-bucket>/warehouse/lake_db/orders_copy/'
AS SELECT * FROM lake_db.orders;

パーティション変換関数

Identity パーティショニング (列の値を直接使用) に加えて、Iceberg は既存の列に基づく変換関数パーティショニングをサポートしています。書き込み時にパーティション値を指定する必要はありません。エンジンは列の値に基づいてデータを自動的にルーティングします。

day(created_at) でパーティショニングする場合、別の dt 列を維持する必要はありません。 Iceberg は、created_at からパーティショニング用の日付を自動的に抽出します：

CREATE TABLE lake_db.orders_by_day (
    order_id     BIGINT,
    user_id      BIGINT,
    status       STRING,
    total_amount DECIMAL(18, 2),
    created_at   TIMESTAMP
)
PARTITIONED BY (day(created_at))
STORED AS ICEBERG
LOCATION 'oss://<your-bucket>/warehouse/lake_db/orders_by_day/';

その他の DDL 操作

-- 完全な CREATE TABLE 文を表示
SHOW CREATE TABLE lake_db.orders;

-- 列構造を表示
DESCRIBE lake_db.orders;

-- テーブルを削除
DROP TABLE IF EXISTS lake_db.orders;

INSERT INTO (追記)

INSERT INTO lake_db.orders
SELECT * FROM VALUES
    (1001, 501, 'paid', 299.90, TIMESTAMP '2026-06-11 10:00:00', DATE '2026-06-11'),
    (1002, 502, 'pending', 158.00, TIMESTAMP '2026-06-11 10:05:00', DATE '2026-06-11'),
    (1003, 503, 'shipped', 450.00, TIMESTAMP '2026-06-11 10:10:00', DATE '2026-06-12')
AS t(order_id, user_id, status, total_amount, created_at, dt);

INSERT OVERWRITE (上書き)

パーティション分割されたテーブルに対して INSERT OVERWRITE を実行すると、Iceberg は動的パーティション上書き戦略を使用します。SELECT 結果に含まれるパーティションのみが上書きされ、他のパーティションのデータは影響を受けません。

-- dt='2026-06-11' パーティションのデータのみを上書きします。他のパーティションは影響を受けません。
INSERT OVERWRITE lake_db.orders
SELECT * FROM VALUES
    (2001, 601, 'paid', 999.00, TIMESTAMP '2026-06-11 12:00:00', DATE '2026-06-11')
AS t(order_id, user_id, status, total_amount, created_at, dt);

DELETE (行レベル削除)

Iceberg テーブルは、条件に基づく行レベル削除をサポートしています。DELETE を使用するには、以下の条件を満たす必要があります：

• テーブルの作成時に、format_version は '3' に設定されます。

• identifier-fields (識別子列、主キーと同様) は、テーブルの作成時に TBLPROPERTIES で指定されます。

-- テーブルの作成：format-version=3 と identifier-fields を指定
CREATE TABLE lake_db.orders_v3 (
    order_id     BIGINT,
    user_id      BIGINT,
    status       STRING,
    total_amount DECIMAL(18, 2),
    created_at   TIMESTAMP
)
PARTITIONED BY (day(created_at))
STORED AS ICEBERG
LOCATION 'oss://<your-bucket>/warehouse/lake_db/orders_v3/'
TBLPROPERTIES (
    'format-version'    = '3',
    'identifier-fields' = '[order_id]'
);

-- 条件に一致する行を削除
DELETE FROM lake_db.orders_v3 WHERE status = 'cancelled';

基本的なクエリ

SELECT * FROM lake_db.orders WHERE dt = DATE '2026-06-11';

SELECT dt, COUNT(*) AS cnt, SUM(total_amount) AS total
FROM lake_db.orders
GROUP BY dt;

パーティションプルーニング

WHERE 句にパーティション列またはパーティション変換関数が含まれる場合、エンジンは自動的にパーティションプルーニングを実行し、関連するパーティションのデータファイルのみをスキャンします。

-- Identity パーティショニング：パーティション列に直接一致させる
SELECT * FROM lake_db.orders WHERE dt = DATE '2026-06-11';

-- day(col) パーティショニング：時間範囲に一致させる
SELECT * FROM lake_db.orders_by_day
WHERE created_at >= TIMESTAMP '2026-06-11 00:00:00'
  AND created_at <  TIMESTAMP '2026-06-12 00:00:00';

述語プッシュダウン

Iceberg は WHERE 句の述語をデータファイルレベルにプッシュダウンし、Parquet ファイル内の統計情報 (最小/最大/NULL カウント) を使用して、条件を満たさない行グループを除外します。これにより、実際に読み取られるデータ量が削減されます。等価 (=)、範囲 (<、>、BETWEEN)、IN などの述語をサポートしています。

列の追加

ALTER TABLE lake_db.orders ADD COLUMNS (
    region STRING COMMENT '注文地域'
);

-- 検証
DESCRIBE lake_db.orders;

新しい列は列リストの末尾に追加されます。既存の行の場合、新しい列の値は NULL です。

型の昇格

安全な型の昇格 (例: INT から BIGINT) がサポートされています。

ALTER TABLE lake_db.orders CHANGE COLUMN order_id order_id BIGINT;