E-MapReduce：非同步物化視圖

支援資料來源

StarRocks支援在以下資料來源建立非同步物化視圖：

• StarRocks內部表（基表支援所有StarRocks表類型）

• External Catalog中的表

  • Hive Catalog

  • Hudi Catalog

  • Iceberg Catalog

  • JDBC Catalog

• 已有非同步物化視圖

• 已有視圖

準備工作

以下樣本基於Default Catalog中的兩張基表：

• 表goods包含產品IDitem_id1、產品名稱item_name和產品價格price。

• 表order_list包含訂單IDorder_id、客戶IDclient_id和產品IDitem_id2。

其中item_id1與item_id2等價。

建表並匯入如下資料。

CREATE DATABASE IF NOT EXISTS test_db;
USE test_db;
CREATE TABLE goods(
    item_id1          INT,
    item_name         STRING,
    price             FLOAT
) DISTRIBUTED BY HASH(item_id1);

INSERT INTO goods
VALUES
    (1001,"apple",6.5),
    (1002,"pear",8.0),
    (1003,"potato",2.2);

CREATE TABLE order_list(
    order_id          INT,
    client_id         INT,
    item_id2          INT,
    order_date        DATE
) DISTRIBUTED BY HASH(order_id);

INSERT INTO order_list
VALUES
    (10001,101,1001,"2022-03-13"),
    (10001,101,1002,"2022-03-13"),
    (10002,103,1002,"2022-03-13"),
    (10002,103,1003,"2022-03-14"),
    (10003,102,1003,"2022-03-14"),
    (10003,102,1001,"2022-03-14");

該樣本業務情境需要頻繁分析訂單總額，則查詢需要將兩張表關聯並調用sum()函數，根據訂單ID和總額產生一張新表。除此之外，該業務情境需要每天重新整理訂單總額。

其查詢語句如下。

USE test_db;
SELECT
    order_id,
    sum(goods.price) as total
FROM order_list INNER JOIN goods ON goods.item_id1 = order_list.item_id2
GROUP BY order_id;

基於查詢語句建立非同步物化視圖

您可以通過CREATE MATERIALIZED VIEW語句為特定查詢語句建立物化視圖。

USE test_db;
CREATE MATERIALIZED VIEW order_mv
DISTRIBUTED BY HASH(`order_id`)
REFRESH ASYNC START('2022-09-01 10:00:00') EVERY (interval 1 day)
AS SELECT
    order_list.order_id,
    sum(goods.price) as total
FROM order_list INNER JOIN goods ON goods.item_id1 = order_list.item_id2
GROUP BY order_id;

修改非同步物化視圖

您可以通過ALTER MATERIALIZED VIEW命令修改非同步物化視圖屬性。

• 啟用被禁用的非同步物化視圖（將物化視圖的狀態設定為Active）。

  ALTER MATERIALIZED VIEW test_db.order_mv ACTIVE;

• 修改非同步物化視圖名稱為order_total。

  ALTER MATERIALIZED VIEW test_db.order_mv RENAME order_total;

• 修改非同步物化視圖的最大重新整理間隔為2天。

  ALTER MATERIALIZED VIEW test_db.order_mv REFRESH ASYNC EVERY(INTERVAL 2 DAY);

查看非同步物化視圖

您可以使用SHOW MATERIALIZED VIEWS或查詢Information Schema中的系統中繼資料視圖來查看資料庫中的非同步物化視圖。

• 查看當前資料倉儲內所有非同步物化視圖。

  USE test_db;
  SHOW MATERIALIZED VIEWS;

• 查看特定非同步物化視圖。

  USE test_db;
  SHOW MATERIALIZED VIEWS WHERE NAME = "order_mv";

• 通過名稱匹配查看非同步物化視圖。

  USE test_db;
  SHOW MATERIALIZED VIEWS WHERE NAME LIKE "order%";

• 通過Information Schema中的系統中繼資料視圖materialized_views查看所有非同步物化視圖。

  USE test_db;
  SELECT * FROM information_schema.materialized_views;

查看非同步物化視圖建立語句

您可以通過SHOW CREATE MATERIALIZED VIEW命令查看非同步物化視圖建立語句。

SHOW CREATE MATERIALIZED VIEW test_db.order_mv;

查看非同步物化視圖的執行狀態

您可以通過以下兩種方式查看非同步物化視圖的執行狀態。

• 通過EMR StarRocks Manager的物化視圖管理 > 非同步物化視圖頁面進行查看。

• 通過查詢StarRocks 的Information Schema中的tasks和task_runs中繼資料視圖來查看非同步物化視圖的執行（構建或重新整理）狀態。

  樣本如下。

  1. 查看tasks表中最新任務的TASK_NAME。

     SELECT * FROM information_schema.tasks  ORDER BY CREATE_TIME DESC limit 1;

  2. 基於查詢到的TASK_NAME在表task_runs中查看執行狀態。

     SELECT * FROM information_schema.task_runs WHERE task_name='mv-59299' ORDER BY CREATE_TIME;

刪除非同步物化視圖

您可以通過DROP MATERIALIZED VIEW命令刪除已建立的非同步物化視圖。

DROP MATERIALIZED VIEW test_db.order_mv;