AnalyticDB：Iceberg外表（XIHE SQL）

文法

CREATE TABLE [IF NOT EXISTS] <db>.<table> (
    <col1>  <type1>  [COMMENT '<comment>'],
    <col2>  <type2>  [COMMENT '<comment>'],
    ...
)
[COMMENT '<table_comment>']
[PARTITIONED BY (<partition_expr1>[, <partition_expr2>, ...])]
STORED AS ICEBERG
[LOCATION '<oss_path>']                           -- 外湖必填
[TBLPROPERTIES (
    'format-version'    = '<2|3>',                 -- 預設2
    'catalog_type'      = 'ADB',                   -- 內湖必填
    'adb_lake_bucket'   = '<bucket_name>',          -- 內湖必填
    ...
)];

TBLPROPERTIES中可配置的表屬性如下：

外湖建表示例

-- 建立資料庫
CREATE DATABASE IF NOT EXISTS lake_db;

-- 建立外湖Iceberg表
CREATE TABLE lake_db.orders (
    order_id     BIGINT       COMMENT '訂單ID',
    user_id      BIGINT       COMMENT '使用者ID',
    status       STRING       COMMENT '訂單狀態',
    total_amount DECIMAL(18, 2) COMMENT '訂單金額',
    created_at   TIMESTAMP    COMMENT '下單時間'
)
COMMENT '訂單主表'
PARTITIONED BY (dt DATE)
STORED AS ICEBERG
LOCATION 'oss://<YOUR-BUCKET>/warehouse/lake_db/orders/';

內湖建表示例

CREATE TABLE lake_db.orders (
    order_id     BIGINT       COMMENT '訂單ID',
    user_id      BIGINT       COMMENT '使用者ID',
    status       STRING       COMMENT '訂單狀態',
    total_amount DECIMAL(18, 2) COMMENT '訂單金額',
    created_at   TIMESTAMP    COMMENT '下單時間'
)
COMMENT '訂單主表'
PARTITIONED BY (dt DATE)
STORED AS ICEBERG
TBLPROPERTIES (
    'catalog_type'    = 'ADB',
    'adb_lake_bucket' = 'adb-lake-cn-<region>-xxxx'
);

CTAS建表（CREATE TABLE AS SELECT）

CTAS在建表的同時寫入查詢結果，列名和類型從SELECT推導。

CREATE TABLE lake_db.orders_copy
PARTITIONED BY (dt DATE)
STORED AS ICEBERG
LOCATION 'oss://<YOUR-BUCKET>/warehouse/lake_db/orders_copy/'
AS SELECT * FROM lake_db.orders;

分區管理

Iceberg的分區與傳統Hive分區有本質區別：

Iceberg支援identity分區（直接使用列值）和基於現有列的轉換函式分區。寫入時無需指定分區值，引擎根據列值自動路由。

使用day(created_at)分區時，無需單獨維護dt列，Iceberg自動從created_at提取日期做分區：

CREATE TABLE lake_db.orders_by_day (
    order_id     BIGINT,
    user_id      BIGINT,
    status       STRING,
    total_amount DECIMAL(18, 2),
    created_at   TIMESTAMP
)
PARTITIONED BY (day(created_at))
STORED AS ICEBERG
LOCATION 'oss://<YOUR-BUCKET>/warehouse/lake_db/orders_by_day/';

其他DDL操作

-- 查看錶的完整建表語句
SHOW CREATE TABLE lake_db.orders;

-- 查看列結構
DESCRIBE lake_db.orders;

-- 刪除表
DROP TABLE IF EXISTS lake_db.orders;

-- 刪除資料庫（庫內不能有表，否則報錯）
DROP DATABASE IF EXISTS lake_db;

INSERT INTO（追加寫入）

INSERT INTO lake_db.orders
SELECT * FROM VALUES
    (1001, 501, 'paid', 299.90, TIMESTAMP '2026-06-11 10:00:00', DATE '2026-06-11'),
    (1002, 502, 'pending', 158.00, TIMESTAMP '2026-06-11 10:05:00', DATE '2026-06-11'),
    (1003, 503, 'shipped', 450.00, TIMESTAMP '2026-06-11 10:10:00', DATE '2026-06-12')
AS t(order_id, user_id, status, total_amount, created_at, dt);

INSERT OVERWRITE（覆寫）

對分區表執行INSERT OVERWRITE時，Iceberg採用動態分區覆寫策略——僅覆蓋SELECT結果中涉及的分區，其餘分區資料不受影響。

-- 僅覆蓋dt='2026-06-11'分區的資料，其他分區不受影響
INSERT OVERWRITE lake_db.orders
SELECT * FROM VALUES
    (2001, 601, 'paid', 999.00, TIMESTAMP '2026-06-11 12:00:00', DATE '2026-06-11')
AS t(order_id, user_id, status, total_amount, created_at, dt);

DELETE（行級刪除）

Iceberg表支援基於條件的行級刪除。

DELETE FROM lake_db.orders WHERE status = 'cancelled';

基本查詢

SELECT * FROM lake_db.orders WHERE dt = DATE '2026-06-11';

SELECT dt, COUNT(*) AS cnt, SUM(total_amount) AS total
FROM lake_db.orders
GROUP BY dt;

分區裁剪

當WHERE條件中包含分區列或分區轉換函式時，引擎自動進行分區裁剪，只掃描相關分區的資料檔案。

-- identity分區：直接匹配分區列
SELECT * FROM lake_db.orders WHERE dt = DATE '2026-06-11';

-- day(col)分區：匹配時間範圍
SELECT * FROM lake_db.orders_by_day
WHERE created_at >= TIMESTAMP '2026-06-11 00:00:00'
  AND created_at <  TIMESTAMP '2026-06-12 00:00:00';

謂詞下推

Iceberg將WHERE條件中的謂詞下推到資料檔案層面，利用Parquet檔案內部的統計資訊（min/max/null count）過濾不滿足條件的row group，減少實際讀取的資料量。

謂詞下推生效條件：

• WHERE條件中的列存在統計資訊。

• 謂詞為簡單比較（=、<、>、<=、>=、IN、BETWEEN）。

• 列類型與統計資訊類型匹配。

-- 謂詞下推生效：order_id有min/max統計資訊
SELECT * FROM lake_db.orders
WHERE order_id = 1001;

-- 範圍謂詞下推
SELECT * FROM lake_db.orders
WHERE total_amount BETWEEN 100 AND 500;

查詢注意事項

• 分區裁剪僅對WHERE條件中直接引用分區列或分區轉換函式的情境生效。

• 複雜謂詞（如函數調用、OR條件）可能影響謂詞下推效果。

• 跨Iceberg表JOIN效能取決於資料量和分區設計。