MaxCompute:Delta Live Materialized View (Delta Live MV) (Pratinjau Undangan)

Ikhtisar Arsitektur

Keunggulan

Fitur Delta Live Materialized View di MaxCompute menawarkan keunggulan berikut:

• SQL deklaratif, operasi sepenuhnya dikelola (fully managed), dan pelapisan gudang data otomatis.

• Arsitektur gudang data yang disederhanakan. Satu logika komputasi dan satu engine mendukung komputasi inkremental maupun penuh, memenuhi kebutuhan latensi rendah dan throughput tinggi.

• Hemat biaya. Menyeimbangkan kesegaran data dan biaya untuk ETL penuh maupun inkremental yang efisien.

Skenario Penggunaan

Fitur ini berlaku untuk skenario berikut:

• Pemrosesan Real-time untuk layanan offline

  Beralih dari gudang data T+1 ke gudang data near-real-time dengan latensi tingkat menit.

• Pemrosesan penuh dan inkremental terpadu

  • Komputasi inkremental near-real-time untuk partisi hari ini memenuhi persyaratan kesegaran data tinggi dengan biaya komputasi rendah.

  • (Opsional) Isi ulang (backfill) partisi historis untuk mengarsipkan atau memperbaiki data guna analitik skala besar di downstream.

Sintaksis

CREATE MATERIALIZED VIEW [IF NOT EXISTS][<project_name>.]<mv_name>
[LIFECYCLE <days>]    -- Tentukan siklus hidup
[BUILD DEFERRED]    -- Hasilkan hanya skema tabel, bukan data, saat pembuatan
[(<col_name> [COMMENT <col_comment>],...)]    -- Komentar kolom
[DISABLE REWRITE]    -- Tentukan apakah tampilan dapat digunakan untuk penulisan ulang kueri
[COMMENT <table comment>]    -- Komentar tabel
[PARTITIONED ON/BY (<col_name> [, <col_name>, ...])    -- Buat materialized view sebagai tabel partisi
[REFRESH EVERY <num> MINUTES/HOURS/DAYS] -- Atur interval refresh terjadwal
TBLPROPERTIES(
  "refresh_mode"="incremental"
  [,"enable_auto_refresh"="true"]    -- Aktifkan auto-refresh
  [,"refresh_cron"="xx"]             -- Konfigurasi refresh berbasis waktu, terjadwal, atau berbasis interval menggunakan ekspresi cron
  [,"refresh_job_settings"="xx"]
              )
AS <select_statement>;

Sintaksis Delta Live Materialized View kompatibel dengan sintaksis materialized view standar, dengan perbedaan berikut:

• Anda tidak dapat membuat materialized view dinamis sebagai clustered table.

• Anda tidak dapat mengatur parameter enable_auto_substitute ke true. Delta Live Materialized View bersifat asinkron. Data tabel dasar yang digunakan mungkin bukan versi terbaru, yang bertentangan dengan enable_auto_substitute = true.

Deskripsi Parameter

TBLPROPERTIES(
  "enable_auto_refresh"="true",
  "refresh_cron"="xx"
)

Contoh

CREATE MATERIALIZED VIEW IF NOT EXISTS mv1
REFRESH EVERY 5 MINUTES
TBLPROPERTIES("enable_auto_refresh"="true", "refresh_mode"="incremental")
AS 
SELECT name, COUNT(*) FROM source GROUP BY name;

CREATE MATERIALIZED VIEW IF NOT EXISTS part_dlmv_department
PRIMARY KEY(dept_id)
LIFECYCLE 10
BUILD DEFERRED
PARTITIONED BY (pt)
TBLPROPERTIES('refresh_mode'='incremental', 
'refresh_job_settings'='set odps.sql.split.size=128;set odps.sql.reshuffle.dynamicpt
=false;')
AS SELECT *, get_setting('odps.custom.setting.department.pt') AS pt FROM t_department;

-- Buat Delta Live Materialized View
CREATE MATERIALIZED VIEW dlmv_pt
PRIMARY KEY(value) BUILD DEFERRED PARTITIONED BY (ds) TBLPROPERTIES
('refresh_mode'='incremental', 'enable_auto_refresh'='true') 
AS SELECT value, AVG(value2), ds FROM dlmv_pt_src GROUP BY value, ds;

-- Refresh satu partisi
ALTER MATERIALIZED VIEW dlmv_pt REBUILD PARTITION(ds='20250730');

Contoh 4: Membuat Delta Live Materialized View berparameter

Mendukung definisi berparameter untuk memigrasikan pekerjaan partisi offline ke pekerjaan inkremental.

• Fungsi get_setting memungkinkan Anda mengambil nilai parameter yang diatur di Session Flag. Nama parameter harus diawali dengan awalan dps.custom.setting.

• Ganti ${biz_date} dalam pekerjaan offline tradisional dengan get_setting(odps.custom.setting.xx) untuk mengaktifkan parameterisasi.

• Tambahkan session flag sebelum merefresh Delta Live Materialized View: set odps.custom.setting.xx=yy.

• Saat runtime, MaxCompute mengganti get_setting(odps.custom.setting.xx) dengan yy.

Contoh:

-- Buat Delta Live Materialized View
CREATE MATERIALIZED VIEW mv1 
BUILD DEFERRED -- Jalankan hanya DDL, tanpa pembuatan data
PARTITIONED BY (ds) 
REFRESH EVERY 5 minutes 
TBLPROPERTIES("enable_auto_refresh"="true", "refresh_mode"="incremental")
AS 
SELECT A.* FROM A JOIN B ON A.c1 = B.c1
  AND A.ds=get_setting('odps.custom.setting.bizdate.a')
  AND B.ds=get_setting('odps.custom.setting.bizdate.b');

-- Logika refresh. Penjadwalan DataWorks secara otomatis mengganti ${biz_date} dan ${yesterday}.
SET odps.custom.setting.bizdate.a=${biz_date};
SET odps.custom.setting.bizdate.b=${yesterday};
ALTER MATERIALIZED VIEW mv1 REBUILD PARTITION(ds=${biz_date});

Hapus

DROP MATERIALIZED VIEW [IF EXISTS] [<project_name>.]<mv_name>;

Pembaruan manual

Delta Live Materialized View mendukung refresh manual untuk partisi tunggal. Sintaksisnya sama dengan materialized view standar:

ALTER MATERIALIZED VIEW [<project_name>.]<mv_name>
      REBUILD [PARTITION(<ds>=max_pt(<table_name>),<expression1>...)];

Di sini, ds adalah kolom kunci partisi.

Nonaktifkan auto-refresh

Jalankan perintah berikut untuk menonaktifkan auto-refresh dengan memperbarui TBLPROPERTIES:

ALTER MATERIALIZED VIEW <mv_name> SET TBLPROPERTIES("enable_auto_refresh"="false");

Aktifkan atau lanjutkan auto-refresh

Jalankan perintah berikut untuk mengaktifkan atau melanjutkan auto-refresh:

ALTER MATERIALIZED VIEW <mv_name> SET TBLPROPERTIES("enable_auto_refresh"="true");

Ubah frekuensi refresh

Jalankan perintah berikut untuk mengubah frekuensi refresh:

ALTER MATERIALIZED VIEW <mv_name> 
SET TBLPROPERTIES("refresh_interval_minutes"="xx");

Lihat riwayat perubahan data

Jalankan perintah berikut untuk melihat catatan perubahan data pada Delta Live Materialized View:

SHOW HISTORY FOR TABLE <mv_name>;

Contoh output:

ObjectType      ObjectId                                ObjectName              VERSION(LSN)            Time                    Operation
TABLE           d95ec7015e8b432e8e0092d01da962a9        incremental_mv          0000000000000001        2024-08-18 21:06:32     CREATE
TABLE           d95ec7015e8b432e8e0092d01da962a9        incremental_mv          0000000000000002        2024-08-18 21:11:13     UPDATE

Lihat riwayat refresh

Jalankan perintah berikut untuk melihat riwayat refresh (hanya untuk operasi REFRESH):

SELECT * FROM 
Delta_Live_MV_Refresh_History(['<project_name>', '<schema_name>',]'<table_name>');