MaxCompute:Delta Live MV

Skenario 1: Gunakan Delta Live MV partisi untuk merepresentasikan data inkremental hari ini dan data penuh untuk catatan historis.

SET odps.task.major.version=sql_flighting_dlmv;

CREATE MATERIALIZED VIEW IF NOT EXISTS part_dlmv_department
PRIMARY KEY(dept_id) -- Kunci primer dapat disimpulkan dari logika SQL. Namun, karena MV partisi hanya mendukung mode BUILD DEFERRED yang memerlukan deklarasi kunci primer eksplisit, Anda harus mendeklarasikannya di sini.
LIFECYCLE 10
BUILD DEFERRED
PARTITIONED BY (pt)
TBLPROPERTIES('refresh_mode'='incremental', 
  'refresh_job_settings'='set odps.task.major.version=sql_flighting_dlmv;')
AS 
-- t_department adalah tabel ingestion near-real-time yang terutama berisi data inkremental hari ini.
SELECT *, get_setting('odps.custom.setting.department.pt') AS pt FROM t_department; 
UNION ALL
-- history_t_department adalah tabel partisi historis yang berisi semua data historis.
SELECT * FROM history_t_department;

Skenario 2: Gunakan group by key untuk menurunkan kolom PK dari dlmv.

// pk delta table
CREATE TABLE dlmv_base_table(
    key    STRING NOT NULL PRIMARY KEY,
    value  BIGINT,
    value2 BIGINT
)
STORED AS ALIORC
TBLPROPERTIES (
    'transactional'                    = 'true',
    'cdc.insert.into.passthrough.enable' = 'true',
    'acid.cdc.mode.enable'             = 'true',
    'acid.cdc.build.async'             = 'false'
);

CREATE MATERIALIZED VIEW dlmv_pt
PRIMARY KEY(value) -- Kunci primer dapat disimpulkan dari logika SQL. Namun, karena MV partisi hanya mendukung mode BUILD DEFERRED yang memerlukan deklarasi kunci primer eksplisit, Anda harus mendeklarasikannya di sini.
build deferred 
partitioned BY (pt)
TBLPROPERTIES (
    'refresh_mode'        = 'incremental',
    'enable_auto_refresh' = 'true'
)
AS SELECT *, get_setting('odps.custom.setting.dlmv_pt.pt') AS pt FROM (SELECT value, MAX(value2)  FROM dlmv_base_table GROUP BY value) t;

Skenario 3: Simpulkan kolom kunci primer Delta Live MV dari kunci primer tabel dasar.

// pk delta table
CREATE TABLE dlmv_base_table(
    key    STRING NOT NULL PRIMARY KEY,
    value  BIGINT,
    value2 BIGINT
)
STORED AS ALIORC
TBLPROPERTIES (
    'transactional'                    = 'true',
    'cdc.insert.into.passthrough.enable' = 'true',
    'acid.cdc.mode.enable'             = 'true',
    'acid.cdc.build.async'             = 'false'
);

CREATE MATERIALIZED VIEW dlmv_pt
PRIMARY KEY(key) --Kunci primer dapat disimpulkan dari logika SQL. Namun, karena MV partisi hanya mendukung mode BUILD DEFERRED yang memerlukan deklarasi kunci primer eksplisit, Anda harus mendeklarasikannya di sini.
build deferred 
partitioned BY (pt)
TBLPROPERTIES (
    'refresh_mode'        = 'incremental',
    'enable_auto_refresh' = 'true'
)
AS
SELECT key, value, value2, get_setting('odps.custom.setting.dlmv_pt.pt') as pt FROM dlmv_base_table;

Skenario 4: Kolom kunci primer Delta Live MV tidak dapat disimpulkan.

// pk delta table
CREATE TABLE dlmv_base_table(
    key    STRING NOT NULL PRIMARY KEY,
    value  BIGINT,
    value2 BIGINT
)
STORED AS ALIORC
TBLPROPERTIES (
    'transactional'                    = 'true',
    'cdc.insert.into.passthrough.enable' = 'true',
    'acid.cdc.mode.enable'             = 'true',
    'acid.cdc.build.async'             = 'false'
);

# 1. Deklarasikan kolom kunci primer secara eksplisit
CREATE MATERIALIZED VIEW dlmv_pt
primary key(value) -- Kolom kunci primer tidak dapat disimpulkan sebagai 'value' dari logika SQL, tetapi pengguna tahu bahwa data itu sendiri memenuhi keunikan kunci primer. Kunci primer harus dideklarasikan secara eksplisit.
build deferred 
partitioned BY (pt)
TBLPROPERTIES (
    'refresh_mode'        = 'incremental',
    'enable_auto_refresh' = 'true'
)
AS
SELECT value, value2, get_setting('odps.custom.setting.dlmv_pt.pt') as pt FROM dlmv_base_table;

# 2. Ubah logika SQL agar memungkinkan inferensi kunci primer.
-- Jika keunikan kolom 'value' tidak dapat dijamin, logika dapat dimodifikasi dengan klausa group by, seperti di bawah ini:
CREATE MATERIALIZED VIEW dlmv_pt
primary key(value) -- Kunci primer dapat disimpulkan dari logika SQL. Namun, karena MV partisi hanya mendukung mode BUILD DEFERRED yang memerlukan deklarasi kunci primer eksplisit, Anda harus mendeklarasikannya di sini.
build deferred 
partitioned BY (pt)
TBLPROPERTIES (
    'refresh_mode'        = 'incremental',
    'enable_auto_refresh' = 'true'
)
AS SELECT value, MAX(value2), get_setting('odps.custom.setting.dlmv_pt.pt') as pt FROM dlmv_base_table GROUP BY value;

Skenario 1: Dengan menggunakan group by key, Anda dapat menurunkan kolom PK dari DLMV.

// pk delta table
CREATE TABLE dlmv_base_table(
    key    STRING NOT NULL PRIMARY KEY,
    value  BIGINT,
    value2 BIGINT
)
STORED AS ALIORC
TBLPROPERTIES (
    'transactional'                    = 'true',
    'cdc.insert.into.passthrough.enable' = 'true',
    'acid.cdc.mode.enable'             = 'true',
    'acid.cdc.build.async'             = 'false'
);

CREATE MATERIALIZED VIEW dlmv
-- primary key(value) dapat disimpulkan dari logika SQL (group by value), sehingga deklarasi eksplisit tidak diperlukan.
TBLPROPERTIES (
    'refresh_mode'        = 'incremental',
    'enable_auto_refresh' = 'true'
)
AS SELECT value, MAX(value2) FROM dlmv_base_table GROUP BY value;

Skenario 2: Simpulkan kolom kunci primer Delta Live MV dari kunci primer tabel dasar.

// pk delta table
CREATE TABLE dlmv_base_table(
    key    STRING NOT NULL PRIMARY KEY,
    value  BIGINT,
    value2 BIGINT
)
STORED AS ALIORC
TBLPROPERTIES (
    'transactional'                    = 'true',
    'cdc.insert.into.passthrough.enable' = 'true',
    'acid.cdc.mode.enable'             = 'true',
    'acid.cdc.build.async'             = 'false'
);

CREATE MATERIALIZED VIEW dlmv
-- primary key(key) dapat disimpulkan dari logika SQL (diturunkan dari kunci primer tabel dasar), sehingga deklarasi eksplisit tidak diperlukan.
TBLPROPERTIES (
    'refresh_mode'        = 'incremental',
    'enable_auto_refresh' = 'true'
)
AS
SELECT key, value, value2 FROM dlmv_base_table;

Skenario 3: Kolom kunci primer Delta Live MV tidak dapat disimpulkan.

// pk delta table
CREATE TABLE dlmv_base_table(
    key    STRING NOT NULL PRIMARY KEY,
    value  BIGINT,
    value2 BIGINT
)
STORED AS ALIORC
TBLPROPERTIES (
    'transactional'                    = 'true',
    'cdc.insert.into.passthrough.enable' = 'true',
    'acid.cdc.mode.enable'             = 'true',
    'acid.cdc.build.async'             = 'false'
);

# 1. Deklarasikan kolom kunci primer secara eksplisit
CREATE MATERIALIZED VIEW dlmv
primary key(value) -- Kolom kunci primer tidak dapat disimpulkan sebagai 'value' dari logika SQL, tetapi pengguna tahu bahwa data itu sendiri memenuhi keunikan kunci primer. Kunci primer harus dideklarasikan secara eksplisit.
TBLPROPERTIES (
    'refresh_mode'        = 'incremental',
    'enable_auto_refresh' = 'true'
)
AS
SELECT value, value2 FROM dlmv_base_table;

# 2. Ubah logika SQL agar memungkinkan inferensi kunci primer
-- Jika keunikan kolom 'value' tidak dapat dijamin, logika dapat dimodifikasi dengan klausa group by, seperti di bawah ini:
CREATE MATERIALIZED VIEW dlmv
-- primary key(value) dapat disimpulkan dari logika SQL (group by value), sehingga deklarasi eksplisit tidak diperlukan.
TBLPROPERTIES (
    'refresh_mode'        = 'incremental',
    'enable_auto_refresh' = 'true'
)
AS SELECT value, MAX(value2) FROM dlmv_base_table GROUP BY value;