MaxCompute:Delta Live マテリアライズドビュー (Delta Live MV) (招待プレビュー)

アーキテクチャ

利点

MaxCompute の Delta Live MV 機能には、次の利点があります。

• 宣言型 SQL、ゼロメンテナンス、および自動データウェアハウス階層化。

• 簡素化されたデータウェアハウスアーキテクチャ。単一のコンピューティングロジックセットと 1 つのエンジンで増分計算と完全計算の両方をサポートし、低レイテンシーと高スループットの両方の要件を満たします。

• 費用対効果が高い。Delta Live MV はデータ鮮度とコストのバランスを取り、増分および完全な ETL (抽出·変換·書き出し) プロセスを効率的に処理します。

シナリオ

この機能は、次のシナリオに適しています。

• オフラインサービスのリアルタイム化

  T+1 データウェアハウスから、分レベルのニアリアルタイムデータウェアハウスに進化します。

• 増分計算と完全計算の統合

  • 当日パーティションのニアリアルタイム増分計算: これは、高いデータ鮮度と費用対効果の高いコンピューティングを必要とするシナリオに適しています。

  • (オプション) 履歴パーティションの更新: これは、データアーカイブ、データ修正、およびその後の大規模なデータ分析に使用されます。

構文

CREATE MATERIALIZED VIEW [IF NOT EXISTS][<project_name>.]<mv_name>
[LIFECYCLE <days>]    -- ライフサイクルを指定します。
[BUILD DEFERRED]    -- テーブルスキーマのみを作成し、データは生成しないことを指定します。
[(<col_name> [COMMENT <col_comment>],...)]    -- 列のコメント。
[DISABLE REWRITE]    -- MV をクエリの再書き込みに使用するかどうかを指定します。
[COMMENT <table comment>]    -- テーブルのコメント。
[PARTITIONED ON/BY (<col_name> [, <col_name>, ...])    -- マテリアライズドビューをパーティションテーブルとして作成します。
[REFRESH EVERY <num> MINUTES/HOURS/DAYS] -- マテリアライズドビューのスケジュールされた更新間隔を設定します。
TBLPROPERTIES(
  "refresh_mode"="incremental"
  [,"enable_auto_refresh"="true"]    -- 自動更新を有効にするかどうかを指定します。
  [,"refresh_cron"="xx"]             -- cron 式を使用して、スケジュールされた間隔の更新、固定時間の更新、またはその組み合わせを設定します。
  [,"refresh_job_settings"="xx"]
              )
AS <select_statement>;

Delta Live MV の構文は、標準のマテリアライズドビューの構文と互換性がありますが、次の点が異なります。

• Delta Live MV をクラスター化テーブルとして作成することはできません。

• Delta Live MV では、enable_auto_substitute パラメーターを true に設定することはできません。Delta Live MV は非同期マテリアライズドビューであり、そのベーステーブルのデータは最新バージョンではない可能性があります。この動作は、enable_auto_substitute を true に設定することと競合します。

パラメーター

TBLPROPERTIES(
  "enable_auto_refresh"="true",
  "refresh_cron"="xx"
)

'refresh_job_settings'='set odps.sql.split.size=128;set odps.sql.reshuffle.dynamicpt
=false;'

例

CREATE MATERIALIZED VIEW IF NOT EXISTS mv1
REFRESH EVERY 5 MINUTES
TBLPROPERTIES("enable_auto_refresh"="true", "refresh_mode"="incremental")
AS 
SELECT name, COUNT(*) FROM source GROUP BY name;

CREATE MATERIALIZED VIEW IF NOT EXISTS part_dlmv_department
PRIMARY KEY(dept_id)
LIFECYCLE 10
BUILD DEFERRED
PARTITIONED BY (pt)
TBLPROPERTIES('refresh_mode'='incremental', 
'refresh_job_settings'='set odps.sql.split.size=128;set odps.sql.reshuffle.dynamicpt
=false;')
AS SELECT *, get_setting('odps.custom.setting.department.pt') AS pt FROM t_department;

-- Delta Live MV を作成します。
CREATE MATERIALIZED VIEW dlmv_pt
PRIMARY KEY(value) BUILD DEFERRED PARTITIONED BY (ds) TBLPROPERTIES
('refresh_mode'='incremental', 'enable_auto_refresh'='true') 
AS SELECT value, AVG(value2), ds FROM dlmv_pt_src GROUP BY value, ds;

-- 単一のパーティションを更新します。
ALTER MATERIALIZED VIEW dlmv_pt REBUILD PARTITION(ds='20250730');

例 4: パラメーター化された定義を持つ Delta Live MV の作成

パラメーター化された定義がサポートされています。オフラインのパーティション化されたジョブを増分ジョブに移行できます。

• get_setting 関数がサポートされています。この関数は、セッションフラグで設定されたパラメーターの値を取得します。パラメーターにはプレフィックス dps.custom.setting を付ける必要があります。

• 従来のオフラインジョブでは、${biz_date} を get_setting(odps.custom.setting.xx) に置き換えてパラメーター化を実装します。

• Delta Live MV の更新文の前に、セッションフラグ set odps.custom.setting.xx=yy を追加します。

• 実行時に、Delta Live MV の get_setting(odps.custom.setting.xx) は、MaxCompute オプティマイザーによって自動的に yy に置き換えられます。

例:

-- Delta Live MV を作成します。
CREATE MATERIALIZED VIEW mv1 
BUILD DEFERRED -- DDL 操作のみを実行し、データは生成しません。
PARTITIONED BY (ds) 
REFRESH EVERY 5 minutes 
TBLPROPERTIES("enable_auto_refresh"="true", "refresh_mode"="incremental")
AS 
SELECT A.* FROM A JOIN B ON A.c1 = B.c1
  AND A.ds=get_setting('odps.custom.setting.bizdate.a')
  AND B.ds=get_setting('odps.custom.setting.bizdate.b');

-- 更新ロジック。DataWorks はスケジューリング中に ${biz_date} と ${yesterday} を自動的に置き換えます。
SET odps.custom.setting.bizdate.a=${biz_date};
SET odps.custom.setting.bizdate.b=${yesterday};
ALTER MATERIALIZED VIEW mv1 REBUILD PARTITION(ds=${biz_date});

削除

DROP MATERIALIZED VIEW [IF EXISTS] [<project_name>.]<mv_name>;

手動更新

Delta Live MV は、単一パーティションの手動更新のみをサポートします。構文は、標準のマテリアライズドビューと同じです。

ALTER MATERIALIZED VIEW [<project_name>.]<mv_name>
      REBUILD [PARTITION(<ds>=max_pt(<table_name>),<expression1>...)];

構文では、ds はパーティションキー列です。

自動更新の無効化

次のコマンドを実行して、マテリアライズドビューの TBLPROPERTIES パラメーターを変更し、自動更新機能を無効にします。

ALTER MATERIALIZED VIEW <mv_name> SET TBLPROPERTIES("enable_auto_refresh"="false");

自動更新の再開

次のコマンドを実行して、マテリアライズドビューの TBLPROPERTIES パラメーターを変更し、自動更新を有効または再開します。

ALTER MATERIALIZED VIEW <mv_name> SET TBLPROPERTIES("enable_auto_refresh"="true");

更新頻度の変更

次のコマンドを使用して、Delta Live MV の更新頻度を変更できます。

ALTER MATERIALIZED VIEW <mv_name> 
SET TBLPROPERTIES("refresh_interval_minutes"="xx");

データ変更履歴の表示

次のコマンドを実行して、Delta Live MV のデータ変更レコードを表示します。

SHOW HISTORY FOR TABLE <mv_name>;

結果の例:

ObjectType      ObjectId                                ObjectName              VERSION(LSN)            Time                    Operation
TABLE           d95ec7015e8b432e8e0092d01da962a9        incremental_mv          0000000000000001        2024-08-18 21:06:32     CREATE
TABLE           d95ec7015e8b432e8e0092d01da962a9        incremental_mv          0000000000000002        2024-08-18 21:11:13     UPDATE

更新履歴の表示

次のコマンドを実行して、Delta Live MV の更新履歴を表示します。このコマンドは、更新操作にのみ適用されます。

SELECT * FROM 
Delta_Live_MV_Refresh_History(['<project_name>', '<schema_name>',]'<table_name>');