MaxCompute:Delta Live Materialized View (Delta Live MV) (Invitational Preview)

Skenario 1: Gunakan Delta Live MV partisi untuk merepresentasikan data inkremental hari ini dan data historis lengkap

SET odps.task.major.version=sql_flighting_dlmv;

CREATE MATERIALIZED VIEW IF NOT EXISTS part_dlmv_department
PRIMARY KEY(dept_id) -- Kolom kunci primer `dept_id` dapat disimpulkan dari logika SQL berdasarkan kunci primer tabel dasar.
-- Deklarasi eksplisit biasanya tidak diperlukan. Namun, karena MV Delta Live partisi saat ini hanya mendukung mode BUILD DEFERRED, 
-- yang tidak mendukung inferensi kunci otomatis, Anda harus mendeklarasikan kunci primer secara eksplisit.
LIFECYCLE 10
BUILD DEFERRED
PARTITIONED BY (pt)
TBLPROPERTIES('refresh_mode'='incremental', 
  'refresh_job_settings'='set odps.task.major.version=sql_flighting_dlmv;')
AS 
-- t_department adalah tabel ingestion hampir real-time yang menggambarkan data inkremental untuk hari ini.
SELECT *, get_setting('odps.custom.setting.department.pt') AS pt FROM t_department; 
UNION ALL
-- history_t_department adalah tabel partisi historis yang berisi semua data historis.
SELECT * FROM history_t_department;

Skenario 2: Simpulkan kunci primer Delta Live MV dengan menggunakangroup by key

-- PK Delta Table
CREATE TABLE dlmv_base_table(
    key    STRING NOT NULL PRIMARY KEY,
    value  BIGINT,
    value2 BIGINT
)
STORED AS ALIORC
TBLPROPERTIES (
    'transactional'                    = 'true',
    'cdc.insert.into.passthrough.enable' = 'true',
    'acid.cdc.mode.enable'             = 'true',
    'acid.cdc.build.async'             = 'false'
);

CREATE MATERIALIZED VIEW dlmv_pt
PRIMARY KEY(value) -- Kolom kunci primer `value` dapat disimpulkan dari logika SQL (GROUP BY value).
-- Deklarasi eksplisit biasanya tidak diperlukan. Namun, karena MV Delta Live partisi saat ini hanya mendukung mode BUILD DEFERRED,
-- yang tidak mendukung inferensi kunci otomatis, Anda harus mendeklarasikan kunci primer secara eksplisit.
BUILD DEFERRED 
PARTITIONED BY (pt)
TBLPROPERTIES (
    'refresh_mode'        = 'incremental',
    'enable_auto_refresh' = 'true'
)
AS SELECT *, get_setting('odps.custom.setting.dlmv_pt.pt') AS pt FROM (SELECT value, MAX(value2)  FROM dlmv_base_table GROUP BY value) t;

Skenario 3: Simpulkan kunci primer Delta Live MV dari kunci primer tabel dasar

-- PK Delta Table
CREATE TABLE dlmv_base_table(
    key    STRING NOT NULL PRIMARY KEY,
    value  BIGINT,
    value2 BIGINT
)
STORED AS ALIORC
TBLPROPERTIES (
    'transactional'                    = 'true',
    'cdc.insert.into.passthrough.enable' = 'true',
    'acid.cdc.mode.enable'             = 'true',
    'acid.cdc.build.async'             = 'false'
);

CREATE MATERIALIZED VIEW dlmv_pt
PRIMARY KEY(key) -- Kolom kunci primer `key` dapat disimpulkan dari logika SQL (diturunkan dari PK tabel dasar).
-- Deklarasi eksplisit biasanya tidak diperlukan. Namun, karena MV Delta Live partisi saat ini hanya mendukung mode BUILD DEFERRED, 
-- yang tidak mendukung inferensi kunci otomatis, Anda harus mendeklarasikan kunci primer secara eksplisit.
BUILD DEFERRED 
PARTITIONED BY (pt)
TBLPROPERTIES (
    'refresh_mode'        = 'incremental',
    'enable_auto_refresh' = 'true'
)
AS
SELECT key, value, value2, get_setting('odps.custom.setting.dlmv_pt.pt') as pt FROM dlmv_base_table;

Skenario 4: Kunci primer Delta Live MV tidak dapat disimpulkan

-- PK Delta Table
CREATE TABLE dlmv_base_table(
    key    STRING NOT NULL PRIMARY KEY,
    value  BIGINT,
    value2 BIGINT
)
STORED AS ALIORC
TBLPROPERTIES (
    'transactional'                    = 'true',
    'cdc.insert.into.passthrough.enable' = 'true',
    'acid.cdc.mode.enable'             = 'true',
    'acid.cdc.build.async'             = 'false'
);

# 1. Deklarasikan kolom PK secara eksplisit.
CREATE MATERIALIZED VIEW dlmv_pt
PRIMARY KEY(value) -- PK tidak dapat disimpulkan dari logika SQL, tetapi Anda tahu data memenuhi keunikan PK. PK harus dideklarasikan secara eksplisit.
BUILD DEFERRED 
PARTITIONED BY (pt)
TBLPROPERTIES (
    'refresh_mode'        = 'incremental',
    'enable_auto_refresh' = 'true'
)
AS
SELECT value, value2, get_setting('odps.custom.setting.dlmv_pt.pt') as pt FROM dlmv_base_table;

# 2. Ubah logika SQL agar inferensi PK dimungkinkan.
-- Jika Anda tidak dapat menjamin keunikan kolom 'value', ubah logika dengan klausa GROUP BY, seperti ditunjukkan di bawah:
CREATE MATERIALIZED VIEW dlmv_pt
PRIMARY KEY(value) -- PK `value` kini dapat disimpulkan dari logika SQL (GROUP BY value).
-- Deklarasi eksplisit biasanya tidak diperlukan. Namun, karena MV Delta Live partisi saat ini hanya mendukung mode BUILD DEFERRED, 
-- yang tidak mendukung inferensi kunci otomatis, Anda harus mendeklarasikan kunci primer secara eksplisit.
BUILD DEFERRED 
PARTITIONED BY (pt)
TBLPROPERTIES (
    'refresh_mode'        = 'incremental',
    'enable_auto_refresh' = 'true'
)
AS SELECT value, MAX(value2), get_setting('odps.custom.setting.dlmv_pt.pt') as pt FROM dlmv_base_table GROUP BY value;

Skenario 1: Simpulkan kunci primer Delta Live MV dengan menggunakangroup by key

-- PK Delta Table
CREATE TABLE dlmv_base_table(
    key    STRING NOT NULL PRIMARY KEY,
    value  BIGINT,
    value2 BIGINT
)
STORED AS ALIORC
TBLPROPERTIES (
    'transactional'                    = 'true',
    'cdc.insert.into.passthrough.enable' = 'true',
    'acid.cdc.mode.enable'             = 'true',
    'acid.cdc.build.async'             = 'false'
);

CREATE MATERIALIZED VIEW dlmv
-- PRIMARY KEY(value) -- PK `value` dapat disimpulkan dari logika SQL (GROUP BY value), sehingga tidak perlu deklarasi eksplisit.
TBLPROPERTIES (
    'refresh_mode'        = 'incremental',
    'enable_auto_refresh' = 'true'
)
AS SELECT value, MAX(value2) FROM dlmv_base_table GROUP BY value;

Skenario 2: Simpulkan kunci primer Delta Live MV dari kunci primer tabel dasar

-- PK Delta Table
CREATE TABLE dlmv_base_table(
    key    STRING NOT NULL PRIMARY KEY,
    value  BIGINT,
    value2 BIGINT
)
STORED AS ALIORC
TBLPROPERTIES (
    'transactional'                    = 'true',
    'cdc.insert.into.passthrough.enable' = 'true',
    'acid.cdc.mode.enable'             = 'true',
    'acid.cdc.build.async'             = 'false'
);

CREATE MATERIALIZED VIEW dlmv
-- PRIMARY KEY(key) -- PK `key` dapat disimpulkan dari logika SQL (diturunkan dari PK tabel dasar), sehingga tidak perlu deklarasi eksplisit.
TBLPROPERTIES (
    'refresh_mode'        = 'incremental',
    'enable_auto_refresh' = 'true'
)
AS
SELECT key, value, value2 FROM dlmv_base_table;

Skenario 3: Kunci primer Delta Live MV tidak dapat disimpulkan

-- PK Delta Table
CREATE TABLE dlmv_base_table(
    key    STRING NOT NULL PRIMARY KEY,
    value  BIGINT,
    value2 BIGINT
)
STORED AS ALIORC
TBLPROPERTIES (
    'transactional'                    = 'true',
    'cdc.insert.into.passthrough.enable' = 'true',
    'acid.cdc.mode.enable'             = 'true',
    'acid.cdc.build.async'             = 'false'
);

# 1. Deklarasikan kolom PK secara eksplisit.
CREATE MATERIALIZED VIEW dlmv
PRIMARY KEY(value) -- PK tidak dapat disimpulkan dari logika SQL, tetapi Anda tahu data memenuhi keunikan PK. PK harus dideklarasikan secara eksplisit.
TBLPROPERTIES (
    'refresh_mode'        = 'incremental',
    'enable_auto_refresh' = 'true'
)
AS
SELECT value, value2 FROM dlmv_base_table;

# 2. Ubah logika SQL agar inferensi PK dimungkinkan.
-- Jika Anda tidak dapat menjamin keunikan kolom 'value', ubah logika dengan klausa GROUP BY, seperti ditunjukkan di bawah:
CREATE MATERIALIZED VIEW dlmv
-- PRIMARY KEY(value) -- PK `value` kini dapat disimpulkan dari logika SQL (GROUP BY value), sehingga tidak perlu deklarasi eksplisit.
TBLPROPERTIES (
    'refresh_mode'        = 'incremental',
    'enable_auto_refresh' = 'true'
)
AS SELECT value, MAX(value2) FROM dlmv_base_table GROUP BY value;