MaxCompute:Delta Live マテリアライズドビュー (Delta Live MV) (招待プレビュー)

アーキテクチャ概要

利点

MaxCompute の Delta Live マテリアライズドビュー機能には、次の利点があります。

• 宣言型 SQL、フルマネージドの運用、およびデータウェアハウスの自動階層化。

• 簡素化されたデータウェアハウスアーキテクチャ。1 つの計算ロジックと 1 つのエンジンで増分計算と完全計算の両方をサポートし、低レイテンシーと高スループットの要件を満たします。

• コスト効率。データの鮮度とコストのバランスを取り、効率的な完全 ETL と増分 ETL を実現します。

利用シーン

この機能は、次のシナリオに適用されます。

• オフラインサービスのリアルタイム処理

  T+1 データウェアハウスから、分レベルのレイテンシーを持つニアリアルタイムデータウェアハウスへと進化させます。

• 完全処理と増分処理の統合

  • 当日のパーティションに対するニアリアルタイムの増分計算により、低い計算コストで高いデータの鮮度要件を満たします。

  • (オプション) 履歴パーティションをバックフィルして、下流の大規模分析のためにデータをアーカイブまたは修正します。

構文

CREATE MATERIALIZED VIEW [IF NOT EXISTS][<project_name>.]<mv_name>
[LIFECYCLE <days>]    -- ライフサイクルを指定
[BUILD DEFERRED]    -- 作成時にテーブルスキーマのみを生成し、データは生成しない
[(<col_name> [COMMENT <col_comment>],...)]    -- 列コメント
[DISABLE REWRITE]    -- ビューをクエリ書き換えに使用できるかどうかを指定
[COMMENT <table comment>]    -- テーブルコメント
[PARTITIONED ON/BY (<col_name> [, <col_name>, ...])    -- マテリアライズドビューをパーティションテーブルとして作成
[REFRESH EVERY <num> MINUTES/HOURS/DAYS] -- スケジュールされた更新間隔を設定
TBLPROPERTIES(
  "refresh_mode"="incremental"
  [,"enable_auto_refresh"="true"]    -- 自動更新を有効化
  [,"refresh_cron"="xx"]             -- cron 式を使用して、定期的、スケジュールベース、またはインターバルベースの更新を設定
  [,"refresh_job_settings"="xx"]
              )
AS <select_statement>;

Delta Live マテリアライズドビューの構文は、標準のマテリアライズドビューの構文と互換性がありますが、次の点が異なります。

• 動的マテリアライズドビューをクラスター化テーブルとして作成することはできません。

• enable_auto_substitute パラメーターを true に設定することはできません。Delta Live マテリアライズドビューは非同期です。使用するベーステーブルのデータが最新バージョンではない可能性があり、これは enable_auto_substitute = true と競合します。

パラメーターの説明

TBLPROPERTIES(
  "enable_auto_refresh"="true",
  "refresh_cron"="xx"
)

例

CREATE MATERIALIZED VIEW IF NOT EXISTS mv1
REFRESH EVERY 5 MINUTES
TBLPROPERTIES("enable_auto_refresh"="true", "refresh_mode"="incremental")
AS 
SELECT name, COUNT(*) FROM source GROUP BY name;

CREATE MATERIALIZED VIEW IF NOT EXISTS part_dlmv_department
PRIMARY KEY(dept_id)
LIFECYCLE 10
BUILD DEFERRED
PARTITIONED BY (pt)
TBLPROPERTIES('refresh_mode'='incremental', 
'refresh_job_settings'='set odps.sql.split.size=128;set odps.sql.reshuffle.dynamicpt
=false;')
AS SELECT *, get_setting('odps.custom.setting.department.pt') AS pt FROM t_department;

-- Delta Live マテリアライズドビューの作成
CREATE MATERIALIZED VIEW dlmv_pt
PRIMARY KEY(value) BUILD DEFERRED PARTITIONED BY (ds) TBLPROPERTIES
('refresh_mode'='incremental', 'enable_auto_refresh'='true') 
AS SELECT value, AVG(value2), ds FROM dlmv_pt_src GROUP BY value, ds;

-- 単一パーティションの更新
ALTER MATERIALIZED VIEW dlmv_pt REBUILD PARTITION(ds='20250730');

例 4：パラメーター化された Delta Live マテリアライズドビューの作成

パラメーター化された定義をサポートし、オフラインパーティションジョブを増分ジョブに移行します。

• get_setting 関数を使用すると、セッションフラグで設定されたパラメーター値を取得できます。パラメーター名はプレフィックス dps.custom.setting で始まる必要があります。

• 従来のオフラインジョブの ${biz_date} を get_setting(odps.custom.setting.xx) に置き換えることで、パラメーター化が可能になります。

• Delta Live マテリアライズドビューを更新する前にセッションフラグを追加します：set odps.custom.setting.xx=yy。

• ランタイムに、MaxCompute は get_setting(odps.custom.setting.xx) を yy に置き換えます。

例：

-- Delta Live マテリアライズドビューの作成
CREATE MATERIALIZED VIEW mv1 
BUILD DEFERRED -- DDL のみ実行し、データは生成しない
PARTITIONED BY (ds) 
REFRESH EVERY 5 minutes 
TBLPROPERTIES("enable_auto_refresh"="true", "refresh_mode"="incremental")
AS 
SELECT A.* FROM A JOIN B ON A.c1 = B.c1
  AND A.ds=get_setting('odps.custom.setting.bizdate.a')
  AND B.ds=get_setting('odps.custom.setting.bizdate.b');

-- 更新ロジック。DataWorks のスケジューリングは ${biz_date} と ${yesterday} を自動的に置き換えます。
SET odps.custom.setting.bizdate.a=${biz_date};
SET odps.custom.setting.bizdate.b=${yesterday};
ALTER MATERIALIZED VIEW mv1 REBUILD PARTITION(ds=${biz_date});

削除

DROP MATERIALIZED VIEW [IF EXISTS] [<project_name>.]<mv_name>;

手動更新

Delta Live マテリアライズドビューは、単一パーティションの手動更新をサポートしています。構文は標準のマテリアライズドビューと一致します。

ALTER MATERIALIZED VIEW [<project_name>.]<mv_name>
      REBUILD [PARTITION(<ds>=max_pt(<table_name>),<expression1>...)];

ここで、ds はパーティションキー列です。

自動更新の無効化

TBLPROPERTIES を更新して自動更新を無効にするには、次のコマンドを実行します。

ALTER MATERIALIZED VIEW <mv_name> SET TBLPROPERTIES("enable_auto_refresh"="false");

自動更新の有効化または再開

自動更新を有効化または再開するには、次のコマンドを実行します。

ALTER MATERIALIZED VIEW <mv_name> SET TBLPROPERTIES("enable_auto_refresh"="true");

更新頻度の変更

更新頻度を変更するには、次のコマンドを実行します。

ALTER MATERIALIZED VIEW <mv_name> 
SET TBLPROPERTIES("refresh_interval_minutes"="xx");

データ変更履歴の表示

Delta Live マテリアライズドビューのデータ変更レコードを表示するには、次のコマンドを実行します。

SHOW HISTORY FOR TABLE <mv_name>;

出力例：

ObjectType      ObjectId                                ObjectName              VERSION(LSN)            Time                    Operation
TABLE           d95ec7015e8b432e8e0092d01da962a9        incremental_mv          0000000000000001        2024-08-18 21:06:32     CREATE
TABLE           d95ec7015e8b432e8e0092d01da962a9        incremental_mv          0000000000000002        2024-08-18 21:11:13     UPDATE

更新履歴の表示

更新履歴 (REFRESH 操作のみ) を表示するには、次のコマンドを実行します。

SELECT * FROM 
Delta_Live_MV_Refresh_History(['<project_name>', '<schema_name>',]'<table_name>');