MaxCompute：動態物化視圖（Delta Live MV）（邀測）

整體架構

優勢

MaxCompute的動態物化視圖Delta Live MV功能具備以下優勢：

• 聲明式SQL、免營運、自動數倉分層。

• 簡化數倉架構，一份計算邏輯，一個引擎，同時支援增量計算和全量計算，同時滿足低延遲和高吞吐需求。

• 成本效益，平衡資料新鮮度和成本，高效處理增全量ETL。

適用情境

該功能適用於以下情境：

• 離線業務即時化

  從T+1數倉演化到分鐘級近即時數倉。

• 增全量一體

  • 當天分區近即時增量計算：業務資料新鮮度要求高，計算性價比高。

  • （可選操作）歷史分區回刷：資料歸檔、修正，用於後續大規模資料分析。

文法格式

CREATE MATERIALIZED VIEW [IF NOT EXISTS][<project_name>.]<mv_name>
[LIFECYCLE <days>]    --指定生命週期
[BUILD DEFERRED]    -- 指定是在建立時只產生表結構，不產生資料
[(<col_name> [COMMENT <col_comment>],...)]    --列注釋
[DISABLE REWRITE]    --指定是否用於改寫
[COMMENT <table comment>]    --表注釋
[PARTITIONED ON/BY (<col_name> [, <col_name>, ...])    --建立物化視圖表為分區表
[REFRESH EVERY <num> MINUTES/HOURS/DAYS] -- 設定物化視圖定時更新間隔
TBLPROPERTIES(
  "refresh_mode"="incremental"
  [,"enable_auto_refresh"="true"]    --指定是否開啟自動重新整理
  [,"refresh_cron"="xx"]             --根據cron定時器，可以配置定時間隔更新或者定點更新，間隔定點更新等
  [,"refresh_job_settings"="xx"]
              )
AS <select_statement>;

動態物化視圖Delta Live MV的文法相容主要普通物化視圖的文法，目前存在以下差異：

• 當前不支援將動態物化視圖建立為聚簇表。

• 動態物化視圖不支援將enable_auto_substitute參數設定為true。動態物化視圖是非同步物化視圖形態，所使用的base table資料不一定是最新版本，與enable_auto_substitute設定為true時衝突。

參數說明

TBLPROPERTIES(
  "enable_auto_refresh"="true"，
  "refresh_cron"="xx"
)

'refresh_job_settings'='set odps.sql.split.size=128;set odps.sql.reshuffle.dynamicpt
=false;'

使用樣本

CREATE MATERIALIZED VIEW IF NOT EXISTS mv1
REFRESH EVERY 5 MINUTES
TBLPROPERTIES("enable_auto_refresh"="true", "refresh_mode"="incremental")
AS 
SELECT name, COUNT(*) FROM source GROUP BY name;

CREATE MATERIALIZED VIEW IF NOT EXISTS part_dlmv_department
PRIMARY KEY(dept_id)
LIFECYCLE 10
BUILD DEFERRED
PARTITIONED BY (pt)
TBLPROPERTIES('refresh_mode'='incremental', 
'refresh_job_settings'='set odps.sql.split.size=128;set odps.sql.reshuffle.dynamicpt
=false;')
AS SELECT *, get_setting('odps.custom.setting.department.pt') AS pt FROM t_department;

-- 建立動態物化視圖
CREATE MATERIALIZED VIEW dlmv_pt
PRIMARY KEY(value) BUILD DEFERRED PARTITIONED BY (ds) TBLPROPERTIES
('refresh_mode'='incremental', 'enable_auto_refresh'='true') 
AS SELECT value, AVG(value2), ds FROM dlmv_pt_src GROUP BY value, ds;

-- 重新整理單分區
ALTER MATERIALIZED VIEW dlmv_pt REBUILD PARTITION(ds='20250730');

樣本4：建立包含參數化定義的動態物化視圖

支援參數化定義，可將離線分區作業遷移到增量作業。

• 支援get_setting函數，用於擷取Session Flag中設定的參數值。需要以dps.custom.setting為首碼。

• 傳統離線作業中的${biz_date}替換為get_setting(odps.custom.setting.xx)，完成參數化改造。

• 動態物化視圖重新整理語句前添加Session Flag set odps.custom.setting.xx=yy。

• 實際運行時，動態物化視圖中的get_setting(odps.custom.setting.xx)會被MaxCompute最佳化器自動替換為yy。

樣本如下：

-- 建立動態物化視圖
CREATE MATERIALIZED VIEW mv1 
BUILD DEFERRED -- 只做ddl，不產生資料
PARTITIONED BY (ds) 
REFRESH EVERY 5 minutes 
TBLPROPERTIES("enable_auto_refresh"="true", "refresh_mode"="incremental")
AS 
SELECT A.* FROM A JOIN B ON A.c1 = B.c1
  AND A.ds=get_setting('odps.custom.setting.bizdate.a')
  AND B.ds=get_setting('odps.custom.setting.bizdate.b');

-- 重新整理邏輯，通過Dataworks調度，自動替換${biz_date}和${yesterday}
SET odps.custom.setting.bizdate.a=${biz_date};
SET odps.custom.setting.bizdate.b=${yesterday};
ALTER MATERIALIZED VIEW mv1 REBUILD PARTITION(ds=${biz_date});

刪除

DROP MATERIALIZED VIEW [IF EXISTS] [<project_name>.]<mv_name>;

手動重新整理

動態物化視圖提供手動重新整理能力，僅支援重新整理單分區。其文法和普通物化視圖相同：

ALTER MATERIALIZED VIEW [<project_name>.]<mv_name>
      REBUILD [PARTITION(<ds>=max_pt(<table_name>),<expression1>...)];

其中ds為分區列。

關閉自動重新整理

通過如下命令修改物化視圖的TBLPROPERTIES參數，以關閉自動重新整理功能。

ALTER MATERIALIZED VIEW <mv_name> SET TBLPROPERTIES("enable_auto_refresh"="false");

恢複自動重新整理

通過如下命令修改物化視圖的TBLPROPERTIES參數，以開啟或者恢複自動重新整理。

ALTER MATERIALIZED VIEW <mv_name> SET TBLPROPERTIES("enable_auto_refresh"="true");

修改重新整理頻率

通過如下命令修改動態物化視圖的重新整理頻率。

ALTER MATERIALIZED VIEW <mv_name> 
SET TBLPROPERTIES("refresh_interval_minutes"="xx");

查看資料變更歷史

通過如下命令查看動態物化視圖資料的變更記錄。

SHOW HISTORY FOR TABLE <mv_name>;

結果樣本：

ObjectType      ObjectId                                ObjectName              VERSION(LSN)            Time                    Operation
TABLE           d95ec7015e8b432e8e0092d01da962a9        incremental_mv          0000000000000001        2024-08-18 21:06:32     CREATE
TABLE           d95ec7015e8b432e8e0092d01da962a9        incremental_mv          0000000000000002        2024-08-18 21:11:13     UPDATE

查看重新整理記錄

通過如下命令查看動態物化視圖的重新整理記錄（僅針對Refresh操作）。

SELECT * FROM 
Delta_Live_MV_Refresh_History(['<project_name>', '<schema_name>',]'<table_name>');