Hologres：Hologres基於Delta Lake實現湖倉一體

背景資訊

• Delta Lake是DataBricks公司推出的一種資料湖方案。Delta Lake以資料為中心，圍繞資料流走向（資料從流入資料湖、資料群組織管理和資料查詢到流出資料湖）推出了一系列功能特性，協助您搭配第三方上下遊工具，搭建快捷、易用和安全的資料湖。詳情請參見DeltaLake。

• EMR是阿里雲提供的雲原生開源巨量資料平台，向您提供簡單易整合的Hadoop、Hive、Spark、Flink等開源巨量資料計算和儲存引擎，便於您使用Hadoop和Spark生態系統中的其他周邊系統分析和處理資料。詳情請參見什麼是E-MapReduce。

• DLF是一款全託管的協助您構建雲上資料湖及Lakehouse的服務，為您提供了統一的中繼資料管理、統一的許可權與安全管理、便捷的資料入湖能力以及一鍵式資料探索能力。詳情請參見DLF產品簡介。

• Hologres作為一站式即時數倉，與DLF、EMR無縫整合，打破資料湖與資料倉儲割裂的體系，構建完整的湖倉一體解決方案，將資料湖的靈活性、生態豐富性與即時數倉的高效能線上複雜分析、企業級能力相結合，為您提供一站式即時湖倉解決方案。詳情請參見基於DLF訪問OSS資料湖加速。

整體架構

本解決方案通過EMR Spark來進行資料加工與處理，中繼資料存放區在DLF中，資料存放區在OSS上，Hologres可以利用DLF對OSS中繼資料的管理能力，對OSS多種格式的湖資料（Hudi、Delta、CSV、Parquet、ORC、SequenceFile）進行加速查詢和湖倉融合分析，將資料提供給BI報表、可視化大屏和上層應用進一步消費使用。

環境準備

使用說明

Hologres的資料湖加速能力，可以滿足實際業務中以下兩種使用情境，您可以根據業務需要選擇合適的情境。

情境一：使用Hologres直接加速查詢OSS上的表資料

樣本：

-- 建立DLF外部表格外掛程式

CREATE EXTENSION IF NOT EXISTS dlf_fdw;

-- 建立外部伺服器

CREATE SERVER IF NOT EXISTS dlf_server FOREIGN data wrapper dlf_fdw options 
(
    dlf_region 'cn-beijing',
    dlf_endpoint 'dlf-share.cn-beijing.aliyuncs.com',
    oss_endpoint 'oss-cn-beijing-internal.aliyuncs.com'
);

-- 匯入外部表格定義

IMPORT FOREIGN SCHEMA "test_spark_delta" LIMIT TO 
(
		customer_delta,
		lineitem_delta,
		nation_delta,
		orders_delta,
		part_delta,
		partsupp_delta,
		region_delta,
		supplier_delta
)
FROM SERVER dlf_server INTO oss_ext_tables options (if_table_exist 'update');

-- 查詢表資料，以Q22為例

SELECT
        cntrycode,
        count(*) AS numcust,
        sum(c_acctbal) AS totacctbal
FROM
        (
                SELECT
                        substring(c_phone FROM 1 FOR 2) AS cntrycode,
                        c_acctbal
                FROM
                        customer_delta
                WHERE
                        substring(c_phone FROM 1 FOR 2) IN
                                ('24', '32', '17', '18', '12', '14', '22')
                        AND c_acctbal > (
                                SELECT
                                        avg(c_acctbal)
                                FROM
                                        customer_delta
                                WHERE
                                        c_acctbal > 0.00
                                        AND substring(c_phone FROM 1 FOR 2) IN
                                                ('24', '32', '17', '18', '12', '14', '22')
                        )
                        AND NOT EXISTS (
                                SELECT
                                        *
                                FROM
                                        orders_delta
                                WHERE
                                        o_custkey = c_custkey
                        )
        ) AS custsale
GROUP BY
        cntrycode
ORDER BY
        cntrycode;

返回結果：

+------------+-------------+---------------+
| cntrycode  | numcust     | totacctbal    | 
+------------+-------------+---------------+
| 12         | 90805       | 681136537.68  |
| 14         | 91459       | 685826271.21  |
| 17         | 91313       | 685025263.11  |
| 18         | 91292       | 684588251.63  |
| 22         | 90399       | 677402363.79  |
| 24         | 90635       | 680033065.67  |
| 32         | 90668       | 680459221.16  |
+------------+-------------+---------------+

情境二：匯入Hologres標準儲存以擷取更好的查詢效能

Hologres標準儲存採用SSD（NVME）硬碟，隨機讀寫效能更好。將OSS外表匯入Hologres內部標準儲存，可通過建立索引、設定適合的Shard數、選擇合適的分布列等手段最佳化查詢效能，以Q2為例，可獲得18倍以上的效能提升。詳情請參見最佳化內部表效能化。

• Hologres中建立相同結構的內部表並匯入資料。

  樣本如下，更多建表語句請參見Hologres查詢體驗快速入門。

  --建立內部表
  
  BEGIN;
  CREATE TABLE region
  (
      R_REGIONKEY INT  NOT NULL PRIMARY KEY,
      R_NAME      TEXT NOT NULL,
      R_COMMENT   TEXT
  );
  CALL set_table_property('region', 'distribution_key', 'R_REGIONKEY');
  CALL set_table_property('region', 'bitmap_columns', 'R_REGIONKEY,R_NAME,R_COMMENT');
  CALL set_table_property('region', 'dictionary_encoding_columns', 'R_NAME,R_COMMENT');
  CALL set_table_property('region', 'time_to_live_in_seconds', '31536000');
  COMMIT;
  
  --匯入資料
  
  INSERT INTO public.region SELECT * FROM region_delta ;
  

• 內表查詢結果。

  SELECT
          cntrycode,
          count(*) AS numcust,
          sum(c_acctbal) AS totacctbal
  FROM
          (
                  SELECT
                          substring(c_phone FROM 1 FOR 2) AS cntrycode,
                          c_acctbal
                  FROM
                          customer
                  WHERE
                          substring(c_phone FROM 1 FOR 2) IN
                                  ('24', '32', '17', '18', '12', '14', '22')
                          AND c_acctbal > (
                                  SELECT
                                          avg(c_acctbal)
                                  FROM
                                          customer
                                  WHERE
                                          c_acctbal > 0.00
                                          AND substring(c_phone FROM 1 FOR 2) IN
                                                  ('24', '32', '17', '18', '12', '14', '22')
                          )
                          AND NOT EXISTS (
                                  SELECT
                                          *
                                  FROM
                                          orders
                                  WHERE
                                          o_custkey = c_custkey
                          )
          ) AS custsale
  GROUP BY
          cntrycode
  ORDER BY
          cntrycode;

效能對比

以32 Core獨享執行個體為例，可以看到Hologres內部表查詢速度比OSS外部表格會高出約100倍：

• OSS外部表格

  • 查詢耗時：17.24s。

  • 執行計畫：

• Hologres內部表

  • 查詢耗時：106.67ms。

  • 執行計畫：