PolarDB：列存索引TPC-H測試（100 GB）

背景資訊

TPC-H是業界常用的一套Benchmark，由TPC委員會制定發布，用於評測資料庫的分析型查詢能力。TPC-H查詢包含8張資料表、22條複雜的SQL查詢，大多數查詢包含若干表Join、子查詢和Group-by彙總等。

測試設計

測試資料量

測試基於100 GB資料量（Scalar Factor=100），其中主要表資料量如下：

• LINEITEM約6億行

• ORDERS 1.5億行

• PART_SUPP 8000萬行

測試所用執行個體規格

測試所用壓力機規格

ecs.g7.4xlarge（16 vCPU，64 GB記憶體）

測試方法

步驟1：準備壓力機ECS

需準備一個ECS，後續操作步驟中涉及的資料匯入、運行壓測等使用的都是這台ECS機器。

步驟2：準備壓測所用PolarDB-X執行個體

建立PolarDB-X執行個體，具體步驟請參見建立執行個體。

步驟3：調整執行個體參數

1. 修改參數XPROTO_MAX_DN_CONCURRENT的值為4000，具體步驟請參見參數設定。

2. 通過命令列串連到PolarDB-X執行個體，在同一會話內執行如下SQL語句，關閉日誌記錄、CPU採樣統計與統計資訊自動採集。

   set global RECORD_SQL = false;
   set global MPP_METRIC_LEVEL = 0;
   set global ENABLE_CPU_PROFILE = false;
   set global ENABLE_BACKGROUND_STATISTIC_COLLECTION=false;
   set global ENABLE_STATISTIC_FEEDBACK=false;

步驟4：安裝BenchmarkBoot壓測工具

1. 為壓力機ECS安全性群組開放4121連接埠，具體步驟請參見添加安全性群組規則。

2. 登入壓力機ECS，執行bash -c "$(curl -fsSL https://benchmark-boot.oss-cn-hangzhou.aliyuncs.com/setup.sh)"安裝BenchmarkBoot壓測工具，具體步驟請參見BenchmarkBoot下載安裝。

3. 在瀏覽器上開啟http://{壓力機公網IP}:4121，出現BenchmarkBoot首頁代表安裝成功。

步驟5：資料準備

1. 在BenchmarkBoot的運行壓測 > 資料庫連接 > 設定資料庫串連介面中，配置PolarDB-X串連串（主機ip、連接埠、使用者名稱、密碼），輸入TPC-H庫名、建庫模式選擇AUTO，單擊提交。

2. 在BenchmarkBoot的運行壓測 > TPCH > 匯入TPCH介面中，輸入資料集規模（GB）為100，物理分區數為16，單擊提交，匯入TPC-H 100 GB資料到PolarDB-X主執行個體。

   說明

   在資料匯入完成後，BenchmarkBoot會自動執行analyze table收集統計資訊。

3. 確認上一步的TPC-H 100 GB資料集匯入完成後，在PolarDB-X主執行個體上執行以下SQL建立列存索引，具體步驟請參見建立和使用CCI。

   create clustered columnar index `nation_col_index` on nation(`n_nationkey`) partition by hash(`n_nationkey`) partitions 1;
   
   create clustered columnar index `region_col_index` on region(`r_regionkey`) partition by hash(`r_regionkey`) partitions 1;
   
   create clustered columnar index `customer_col_index` on customer(`c_custkey`) partition by hash(`c_custkey`) partitions 64;
   
   create clustered columnar index `part_col_index` on part(`p_size`) partition by hash(`p_partkey`) partitions 64;
   
   create clustered columnar index `partsupp_col_index` on partsupp(`ps_partkey`) partition by hash(`ps_partkey`) partitions 64;
   
   create clustered columnar index `supplier_col_index` on supplier(`s_suppkey`) partition by hash(`s_suppkey`) partitions 64;
   
   create clustered columnar index `orders_col_index` on orders(`o_orderdate`,`o_orderkey`) partition by hash(`o_orderkey`) partitions 64;
   
   create clustered columnar index `lineitem_col_index` on lineitem(`l_shipdate`,`l_orderkey`) partition by hash(`l_orderkey`) partitions 64;

   說明

   • 可以執行show columnar index查看當前的列存索引狀態，具體步驟請參見SHOW COLUMNAR INDEX。

   • 建立列存索引總耗時約為45分鐘。

步驟6：添加列存唯讀執行個體

為PolarDB-X主執行個體添加列存唯讀執行個體，具體步驟請參見添加列存唯讀執行個體。

步驟7：進行TPC-H測試

1. 在BenchmarkBoot的運行壓測 > 資料庫連接 > 設定資料庫串連介面中，配置列存唯讀執行個體串連串，輸入TPC-H庫名、建庫模式選擇自動判斷，單擊提交。

2. 在BenchmarkBoot的運行壓測 > TPCH > 運行TPCH介面中，選擇所有查詢、輸入任務描述，單擊提交，運行TPC-H測試的22條查詢語句。

3. 在BenchmarkBoot的壓測結果 > TPCH介面中，查看最終壓測結果。

   說明

   第一次運行TPC-H需要預熱，建議運行多輪後，得到最終穩定的壓測結果。

測試結果

以下結果的時間單位為：秒（s）