MaxCompute:Delta Live Materialized View (Delta Live MV) (招待制プレビュー)

シナリオ 1：パーティション化された Delta Live MV を使用して、当日の増分データと過去の完全データを表現

SET odps.task.major.version=sql_flighting_dlmv;

CREATE MATERIALIZED VIEW IF NOT EXISTS part_dlmv_department
PRIMARY KEY(dept_id) -- プライマリキー `dept_id` は、ベーステーブルのプライマリキーに基づいて SQL ロジックから推論可能です。
-- 明示的な宣言は通常不要ですが、パーティション化された MV は現在 BUILD DEFERRED モードのみをサポートしており、
-- このモードでは自動キー推論がサポートされていないため、プライマリキーを明示的に宣言する必要があります。
LIFECYCLE 10
BUILD DEFERRED
PARTITIONED BY (pt)
TBLPROPERTIES('refresh_mode'='incremental', 
  'refresh_job_settings'='set odps.task.major.version=sql_flighting_dlmv;')
AS 
-- t_department は、当日の増分データを記述するニアリアルタイム取り込みテーブルです。
SELECT *, get_setting('odps.custom.setting.department.pt') AS pt FROM t_department; 
UNION ALL
-- history_t_department は、すべての過去データを含む履歴パーティションテーブルです。
SELECT * FROM history_t_department;

シナリオ 2：group by key を使用して Delta Live MV のプライマリキーを推論

-- PK Delta Table
CREATE TABLE dlmv_base_table(
    key    STRING NOT NULL PRIMARY KEY,
    value  BIGINT,
    value2 BIGINT
)
STORED AS ALIORC
TBLPROPERTIES (
    'transactional'                    = 'true',
    'cdc.insert.into.passthrough.enable' = 'true',
    'acid.cdc.mode.enable'             = 'true',
    'acid.cdc.build.async'             = 'false'
);

CREATE MATERIALIZED VIEW dlmv_pt
PRIMARY KEY(value) -- プライマリキー `value` は、SQL ロジック (GROUP BY value) から推論可能です。
-- 明示的な宣言は通常不要ですが、パーティション化された DLMV は現在 BUILD DEFERRED モードのみをサポートしており、
-- このモードでは自動キー推論がサポートされていないため、プライマリキーを明示的に宣言する必要があります。
BUILD DEFERRED 
PARTITIONED BY (pt)
TBLPROPERTIES (
    'refresh_mode'        = 'incremental',
    'enable_auto_refresh' = 'true'
)
AS SELECT *, get_setting('odps.custom.setting.dlmv_pt.pt') AS pt FROM (SELECT value, MAX(value2)  FROM dlmv_base_table GROUP BY value) t;

シナリオ 3：ベーステーブルのプライマリキーから Delta Live MV のプライマリキーを推論

-- PK Delta Table
CREATE TABLE dlmv_base_table(
    key    STRING NOT NULL PRIMARY KEY,
    value  BIGINT,
    value2 BIGINT
)
STORED AS ALIORC
TBLPROPERTIES (
    'transactional'                    = 'true',
    'cdc.insert.into.passthrough.enable' = 'true',
    'acid.cdc.mode.enable'             = 'true',
    'acid.cdc.build.async'             = 'false'
);

CREATE MATERIALIZED VIEW dlmv_pt
PRIMARY KEY(key) -- プライマリキー `key` は、SQL ロジック (ベーステーブルの PK から派生) から推論可能です。
-- 明示的な宣言は通常不要ですが、パーティション化された DLMV は現在 BUILD DEFERRED モードのみをサポートしており、
-- このモードでは自動キー推論がサポートされていないため、プライマリキーを明示的に宣言する必要があります。
BUILD DEFERRED 
PARTITIONED BY (pt)
TBLPROPERTIES (
    'refresh_mode'        = 'incremental',
    'enable_auto_refresh' = 'true'
)
AS
SELECT key, value, value2, get_setting('odps.custom.setting.dlmv_pt.pt') as pt FROM dlmv_base_table;

シナリオ 4：Delta Live MV のプライマリキーを推論できない

-- PK Delta Table
CREATE TABLE dlmv_base_table(
    key    STRING NOT NULL PRIMARY KEY,
    value  BIGINT,
    value2 BIGINT
)
STORED AS ALIORC
TBLPROPERTIES (
    'transactional'                    = 'true',
    'cdc.insert.into.passthrough.enable' = 'true',
    'acid.cdc.mode.enable'             = 'true',
    'acid.cdc.build.async'             = 'false'
);

# 1. PK 列を明示的に宣言します。
CREATE MATERIALIZED VIEW dlmv_pt
PRIMARY KEY(value) -- SQL ロジックから PK を推論できませんが、データが PK の一意性を満たしていることが分かっているため、PK を明示的に宣言する必要があります。
BUILD DEFERRED 
PARTITIONED BY (pt)
TBLPROPERTIES (
    'refresh_mode'        = 'incremental',
    'enable_auto_refresh' = 'true'
)
AS
SELECT value, value2, get_setting('odps.custom.setting.dlmv_pt.pt') as pt FROM dlmv_base_table;

# 2. PK 推論を可能にするために SQL ロジックを変更します。
-- 'value' 列の一意性を保証できない場合は、以下のように GROUP BY 句を使用してロジックを変更してください。
CREATE MATERIALIZED VIEW dlmv_pt
PRIMARY KEY(value) -- PK `value` は、SQL ロジック (GROUP BY value) から推論可能になりました。
-- 明示的な宣言は通常不要ですが、パーティション化された DLMV は現在 BUILD DEFERRED モードのみをサポートしており、
-- このモードでは自動キー推論がサポートされていないため、プライマリキーを明示的に宣言する必要があります。
BUILD DEFERRED 
PARTITIONED BY (pt)
TBLPROPERTIES (
    'refresh_mode'        = 'incremental',
    'enable_auto_refresh' = 'true'
)
AS SELECT value, MAX(value2), get_setting('odps.custom.setting.dlmv_pt.pt') as pt FROM dlmv_base_table GROUP BY value;

シナリオ 1: group by key を使用して Delta Live MV のプライマリキーを推論する

-- PK Delta Table
CREATE TABLE dlmv_base_table(
    key    STRING NOT NULL PRIMARY KEY,
    value  BIGINT,
    value2 BIGINT
)
STORED AS ALIORC
TBLPROPERTIES (
    'transactional'                    = 'true',
    'cdc.insert.into.passthrough.enable' = 'true',
    'acid.cdc.mode.enable'             = 'true',
    'acid.cdc.build.async'             = 'false'
);

CREATE MATERIALIZED VIEW dlmv
-- PRIMARY KEY(value) -- PK `value` は、SQL ロジック (GROUP BY value) から推論可能であるため、明示的な宣言は不要です。
TBLPROPERTIES (
    'refresh_mode'        = 'incremental',
    'enable_auto_refresh' = 'true'
)
AS SELECT value, MAX(value2) FROM dlmv_base_table GROUP BY value;

シナリオ 2：ベーステーブルのプライマリキーから Delta Live MV のプライマリキーを推論

-- PK Delta Table
CREATE TABLE dlmv_base_table(
    key    STRING NOT NULL PRIMARY KEY,
    value  BIGINT,
    value2 BIGINT
)
STORED AS ALIORC
TBLPROPERTIES (
    'transactional'                    = 'true',
    'cdc.insert.into.passthrough.enable' = 'true',
    'acid.cdc.mode.enable'             = 'true',
    'acid.cdc.build.async'             = 'false'
);

CREATE MATERIALIZED VIEW dlmv
-- PRIMARY KEY(key) -- PK `key` は、SQL ロジック (ベーステーブルの PK から派生) から推論可能であるため、明示的な宣言は不要です。
TBLPROPERTIES (
    'refresh_mode'        = 'incremental',
    'enable_auto_refresh' = 'true'
)
AS
SELECT key, value, value2 FROM dlmv_base_table;

シナリオ 3：Delta Live MV のプライマリキーを推論できない

-- PK Delta Table
CREATE TABLE dlmv_base_table(
    key    STRING NOT NULL PRIMARY KEY,
    value  BIGINT,
    value2 BIGINT
)
STORED AS ALIORC
TBLPROPERTIES (
    'transactional'                    = 'true',
    'cdc.insert.into.passthrough.enable' = 'true',
    'acid.cdc.mode.enable'             = 'true',
    'acid.cdc.build.async'             = 'false'
);

# 1. PK 列を明示的に宣言します。
CREATE MATERIALIZED VIEW dlmv
PRIMARY KEY(value) -- SQL ロジックから PK を推論できませんが、データが PK の一意性を満たしていることが分かっているため、PK を明示的に宣言する必要があります。
TBLPROPERTIES (
    'refresh_mode'        = 'incremental',
    'enable_auto_refresh' = 'true'
)
AS
SELECT value, value2 FROM dlmv_base_table;

# 2. PK 推論を可能にするために SQL ロジックを変更します。
-- 'value' 列の一意性を保証できない場合は、以下のように GROUP BY 句を使用してロジックを変更してください。
CREATE MATERIALIZED VIEW dlmv
-- PRIMARY KEY(value) -- PK `value` は、SQL ロジック (GROUP BY value) から推論可能になったため、明示的な宣言は不要です。
TBLPROPERTIES (
    'refresh_mode'        = 'incremental',
    'enable_auto_refresh' = 'true'
)
AS SELECT value, MAX(value2) FROM dlmv_base_table GROUP BY value;