MaxCompute:Delta Live MV

シナリオ 1：パーティション Delta Live MV を使用して、当日の増分データと履歴レコードの完全データを表現

SET odps.task.major.version=sql_flighting_dlmv;

CREATE MATERIALIZED VIEW IF NOT EXISTS part_dlmv_department
PRIMARY KEY(dept_id) -- プライマリキーは SQL ロジックから推論できます。ただし、パーティション MV は BUILD DEFERRED モードのみをサポートし、明示的に宣言されたプライマリキーが必要なため、ここで宣言する必要があります。
LIFECYCLE 10
BUILD DEFERRED
PARTITIONED BY (pt)
TBLPROPERTIES('refresh_mode'='incremental', 
  'refresh_job_settings'='set odps.task.major.version=sql_flighting_dlmv;')
AS 
-- t_department は、主に当日の増分データを含むニアリアルタイムの取り込みテーブルです。
SELECT *, get_setting('odps.custom.setting.department.pt') AS pt FROM t_department; 
UNION ALL
-- history_t_department は、すべての履歴データを含む履歴パーティションテーブルです。
SELECT * FROM history_t_department;

シナリオ 2：group by key を使用した DLMV の PK カラムの導出

// pk delta table
CREATE TABLE dlmv_base_table(
    key    STRING NOT NULL PRIMARY KEY,
    value  BIGINT,
    value2 BIGINT
)
STORED AS ALIORC
TBLPROPERTIES (
    'transactional'                    = 'true',
    'cdc.insert.into.passthrough.enable' = 'true',
    'acid.cdc.mode.enable'             = 'true',
    'acid.cdc.build.async'             = 'false'
);

CREATE MATERIALIZED VIEW dlmv_pt
PRIMARY KEY(value) -- プライマリキーは SQL ロジックから推論できます。ただし、パーティション MV は BUILD DEFERRED モードのみをサポートし、明示的に宣言されたプライマリキーが必要なため、ここで宣言する必要があります。
build deferred 
partitioned BY (pt)
TBLPROPERTIES (
    'refresh_mode'        = 'incremental',
    'enable_auto_refresh' = 'true'
)
AS SELECT *, get_setting('odps.custom.setting.dlmv_pt.pt') AS pt FROM (SELECT value, MAX(value2)  FROM dlmv_base_table GROUP BY value) t;

シナリオ 3：ベーステーブルのプライマリキーからの Delta Live MV プライマリキーカラムの推論

// pk delta table
CREATE TABLE dlmv_base_table(
    key    STRING NOT NULL PRIMARY KEY,
    value  BIGINT,
    value2 BIGINT
)
STORED AS ALIORC
TBLPROPERTIES (
    'transactional'                    = 'true',
    'cdc.insert.into.passthrough.enable' = 'true',
    'acid.cdc.mode.enable'             = 'true',
    'acid.cdc.build.async'             = 'false'
);

CREATE MATERIALIZED VIEW dlmv_pt
PRIMARY KEY(key) -- プライマリキーは SQL ロジックから推論できます。ただし、パーティション MV は BUILD DEFERRED モードのみをサポートし、明示的に宣言されたプライマリキーが必要なため、ここで宣言する必要があります。
build deferred 
partitioned BY (pt)
TBLPROPERTIES (
    'refresh_mode'        = 'incremental',
    'enable_auto_refresh' = 'true'
)
AS
SELECT key, value, value2, get_setting('odps.custom.setting.dlmv_pt.pt') as pt FROM dlmv_base_table;

シナリオ 4：Delta Live MV プライマリキーカラムが推論できない場合

// pk delta table
CREATE TABLE dlmv_base_table(
    key    STRING NOT NULL PRIMARY KEY,
    value  BIGINT,
    value2 BIGINT
)
STORED AS ALIORC
TBLPROPERTIES (
    'transactional'                    = 'true',
    'cdc.insert.into.passthrough.enable' = 'true',
    'acid.cdc.mode.enable'             = 'true',
    'acid.cdc.build.async'             = 'false'
);

# 1. プライマリキーカラムを明示的に宣言します
CREATE MATERIALIZED VIEW dlmv_pt
primary key(value) -- SQL ロジックから 'value' をプライマリキーとして推論できませんが、データ自体がプライマリキーの一意性を満たすことが分かっているため、プライマリキーを明示的に宣言します。
build deferred 
partitioned BY (pt)
TBLPROPERTIES (
    'refresh_mode'        = 'incremental',
    'enable_auto_refresh' = 'true'
)
AS
SELECT value, value2, get_setting('odps.custom.setting.dlmv_pt.pt') as pt FROM dlmv_base_table;

# 2. プライマリキー推論を可能にするために SQL ロジックを変更します
-- 'value' カラムの一意性が保証できない場合、以下のように group by 句を使用してロジックを変更できます。
CREATE MATERIALIZED VIEW dlmv_pt
primary key(value) -- プライマリキーは SQL ロジックから推論できます。ただし、パーティション MV は BUILD DEFERRED モードのみをサポートし、明示的に宣言されたプライマリキーが必要なため、ここで宣言する必要があります。
build deferred 
partitioned BY (pt)
TBLPROPERTIES (
    'refresh_mode'        = 'incremental',
    'enable_auto_refresh' = 'true'
)
AS SELECT value, MAX(value2), get_setting('odps.custom.setting.dlmv_pt.pt') as pt FROM dlmv_base_table GROUP BY value;

シナリオ 1：group by key を使用した DLMV の PK カラムの導出

// pk delta table
CREATE TABLE dlmv_base_table(
    key    STRING NOT NULL PRIMARY KEY,
    value  BIGINT,
    value2 BIGINT
)
STORED AS ALIORC
TBLPROPERTIES (
    'transactional'                    = 'true',
    'cdc.insert.into.passthrough.enable' = 'true',
    'acid.cdc.mode.enable'             = 'true',
    'acid.cdc.build.async'             = 'false'
);

CREATE MATERIALIZED VIEW dlmv
-- primary key(value) は SQL ロジック (group by value) から推論できるため、明示的な宣言は不要です。
TBLPROPERTIES (
    'refresh_mode'        = 'incremental',
    'enable_auto_refresh' = 'true'
)
AS SELECT value, MAX(value2) FROM dlmv_base_table GROUP BY value;

シナリオ 2：ベーステーブルのプライマリキーからの Delta Live MV プライマリキーカラムの推論

// pk delta table
CREATE TABLE dlmv_base_table(
    key    STRING NOT NULL PRIMARY KEY,
    value  BIGINT,
    value2 BIGINT
)
STORED AS ALIORC
TBLPROPERTIES (
    'transactional'                    = 'true',
    'cdc.insert.into.passthrough.enable' = 'true',
    'acid.cdc.mode.enable'             = 'true',
    'acid.cdc.build.async'             = 'false'
);

CREATE MATERIALIZED VIEW dlmv
-- primary key(key) は SQL ロジック (ベーステーブルのプライマリキーから導出) から推論できるため、明示的な宣言は不要です。
TBLPROPERTIES (
    'refresh_mode'        = 'incremental',
    'enable_auto_refresh' = 'true'
)
AS
SELECT key, value, value2 FROM dlmv_base_table;

シナリオ 3：Delta Live MV プライマリキーカラムが推論できない場合

// pk delta table
CREATE TABLE dlmv_base_table(
    key    STRING NOT NULL PRIMARY KEY,
    value  BIGINT,
    value2 BIGINT
)
STORED AS ALIORC
TBLPROPERTIES (
    'transactional'                    = 'true',
    'cdc.insert.into.passthrough.enable' = 'true',
    'acid.cdc.mode.enable'             = 'true',
    'acid.cdc.build.async'             = 'false'
);

# 1. プライマリキーカラムを明示的に宣言します
CREATE MATERIALIZED VIEW dlmv
primary key(value) -- SQL ロジックから 'value' をプライマリキーとして推論できませんが、データ自体がプライマリキーの一意性を満たすことが分かっているため、プライマリキーを明示的に宣言します。
TBLPROPERTIES (
    'refresh_mode'        = 'incremental',
    'enable_auto_refresh' = 'true'
)
AS
SELECT value, value2 FROM dlmv_base_table;

# 2. プライマリキー推論を可能にするために SQL ロジックを変更します
-- 'value' カラムの一意性が保証できない場合、以下のように group by 句を使用してロジックを変更できます。
CREATE MATERIALIZED VIEW dlmv
-- primary key(value) は SQL ロジック (group by value) から推論できるため、明示的な宣言は不要です。
TBLPROPERTIES (
    'refresh_mode'        = 'incremental',
    'enable_auto_refresh' = 'true'
)
AS SELECT value, MAX(value2) FROM dlmv_base_table GROUP BY value;