E-MapReduce:Query Profile のパフォーマンス診断と最適化のユースケース

Query Profile の可視化

StarRocks Manager を使用して Query Profile を視覚的に分析できます。詳細については、「Query Profile の概要」をご参照ください。

インデックスの作成

• テーブル作成時に Bitmap インデックスを作成します。

  CREATE TABLE `student_info` (
    `s_stukey` bigint(20) NULL COMMENT "",
    `s_name` varchar(65533) NULL COMMENT "",
    `s_gender` varchar(65533) NULL COMMENT "",
    INDEX index1 (s_gender) USING BITMAP COMMENT 'index1'
  ) ENGINE=OLAP
  DUPLICATE KEY(`s_stukey`)
  COMMENT "OLAP"
  DISTRIBUTED BY HASH(`s_stukey`);
  INSERT INTO student_info
  VALUES
      (001,'student#000000019','male'),
      (002,'student#000000020','male'),
      (003,'student#000000021','male'),
      (004,'student#000000022','female');

• CREATE INDEX を使用して、既存のテーブルに Bitmap インデックスを作成します。

  CREATE INDEX index_name ON table_name (column_name) [USING BITMAP] [COMMENT ''];

インデックス作成進捗の確認

SHOW ALTER TABLE COLUMN [FROM db_name];

インデックスの表示

SHOW {INDEX[ES] | KEY[S] } FROM [db_name.]table_name [FROM db_name];

MySQL [db_test]> show index from student_info;
+------------------------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+
| Table                  | Non_unique | Key_name | Seq_in_index | Column_name | Collation | Cardinality | Sub_part | Packed | Null | Index_type | Comment |
+------------------------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+
| db_test.student_info   |            | index1   |              | s_gender    |           |             |          |        |      | BITMAP     | index1  |
+------------------------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+
1 row in set (0.01 sec)

インデックスの削除

DROP INDEX index_name ON [db_name.]table_name;

単一列クエリのテスト

1. s_gender 列をフィルターするクエリを実行します。

   select * from student_info where s_gender='male';

2. プロファイルを表示します。

   [OLAP_SCAN] をクリックし、右側の Node Details タブをクリックします。メトリックを Bitmap でフィルターして、Bitmap インデックスが有効になったことを確認します。

インデックスの作成

テーブルを作成する際に、PROPERTIES 句で bloom_filter_columns を指定することで Bloom filter インデックスを作成できます。次の例はその方法を示しています。

CREATE TABLE table1
(
  k1 BIGINT,
  k2 LARGEINT,
  v1 VARCHAR(2048) REPLACE,
  v2 SMALLINT DEFAULT "10"
)
ENGINE = olap
PRIMARY KEY(k1, k2)
DISTRIBUTED BY HASH (k1, k2) BUCKETS 10
PROPERTIES("bloom_filter_columns" = "k1,k2"); -- 複数のインデックス列はカンマ (,) で区切ります。

インデックスの表示

SHOW CREATE TABLE table1;

インデックスの変更

例：

• 列 v1 に Bloom filter インデックスを追加します。

  ALTER TABLE table1 SET ("bloom_filter_columns" = "k1,k2,v1");

• 列 k2 の Bloom filter インデックスを削除します。

  ALTER TABLE table1 SET ("bloom_filter_columns" = "k1");

• table1 からすべての Bloom filter インデックスを削除します。

  ALTER TABLE table1 SET ("bloom_filter_columns" = "");

例

1. TPC-H の customer テーブルを例にとります。ソートキーではない高カーディナリティ列 (c_phone 列など) に Bloom filter インデックスを追加します。

   ALTER TABLE tpc_h_sf100.customer SET ("bloom_filter_columns" = "c_custkey, c_phone");

2. インデックスを表示して、Bloom filter インデックスが追加されたことを確認します。

   SHOW CREATE TABLE tpc_h_sf100.customer;

   | customer | CREATE TABLE `customer` (
     `c_custkey` bigint(20) NULL COMMENT "",
     `c_name` varchar(65533) NULL COMMENT "",
     `c_address` varchar(65533) NULL COMMENT "",
     `c_nationkey` bigint(20) NULL COMMENT "",
     `c_phone` varchar(65533) NULL COMMENT "",
     `c_acctbal` double NULL COMMENT "",
     `c_mktsegment` varchar(65533) NULL COMMENT "",
     `c_comment` varchar(65533) NULL COMMENT "",
     `Gender` varchar(65533) NULL DEFAULT "default_value" COMMENT ""
   ) ENGINE=OLAP
   DUPLICATE KEY(`c_custkey`)
   COMMENT "OLAP"
   DISTRIBUTED BY HASH(`c_custkey`) BUCKETS 24
   PROPERTIES (
   "replication_num" = "1",
   "bloom_filter_columns" = "c_custkey, c_phone",
   "in_memory" = "false",
   "storage_format" = "DEFAULT",
   "enable_persistent_index" = "false",
   "compression" = "LZ4"
   ); |

3. c_phone 列をフィルターするクエリを実行します。

   select * from tpc_h_sf100.customer where c_phone = "10-334-921-5346";

4. プロファイルを表示します。

   [OLAP_SCAN] をクリックし、右側の Node Details タブをクリックします。BloomFilterFilterRows メトリックを見つけて、Bloom filter インデックスがアクティブであることを確認します。

クエリのテスト

1. TPC-H の lineitem テーブルを例にとり、クエリを実行します。

   select l_returnflag,l_linestatus,l_shipmode,sum(l_extendedprice) from lineitem group by l_returnflag,l_linestatus,l_shipmode;

2. マテリアライズドビューが作成されていないため、最初のクエリは完了までに 1115 ms かかります。

3. プロファイルを表示します。

   [OLAP_SCAN] をクリックし、右側の Node タブに移動します。Rollup が lineitem テーブル自体をスキャンしたことがわかります。

マテリアライズドビューの作成

CREATE MATERIALIZED VIEW material_test AS select l_returnflag,l_linestatus ,l_shipmode,sum(l_extendedprice) from lineitem group by l_returnflag,l_linestatus,l_shipmode;

マテリアライズドビューのヒット確認

1. EXPLAIN コマンドを使用して、クエリが単一テーブルのマテリアライズドビューにヒットしたかどうかを確認できます。

   explain select l_returnflag,l_linestatus ,l_shipmode,sum(l_extendedprice) from lineitem group by l_returnflag,l_linestatus,l_shipmode;

   返された結果の rollup: material_test は、クエリが material_test という名前のマテリアライズドビューにヒットしたことを示します。

   0:OlapScanNode
        TABLE: lineitem
        PREAGGREGATION: OFF. Reason: null
        partitions=1/1
        rollup: material_test
        tabletRatio=96/96
        tabletList=15646,15648,15650,15652,15654,15656,15658,15660,15662,15664 ...
        cardinality=600037902
        avgRowSize=14.285666
        numNodes=0

2. プロファイルを表示します。

   [OLAP_SCAN] をクリックします。右側の Node タブで、クエリがマテリアライズドビューにヒットし、クエリ時間が 0.05 ms に短縮されたことがわかります。

コロケートテーブルの作成

CREATE TABLE tbl (k1 int, v1 int sum)
DISTRIBUTED BY HASH(k1)
BUCKETS 8
PROPERTIES(
    "colocate_with" = "group1"
);

Colocation Group の削除

グループ内の最後のテーブルが完全に削除されると、グループも自動的に削除されます。完全な削除とは、テーブルがごみ箱から削除されることを意味します。通常、DROP TABLE コマンドを使用してテーブルを削除した後、デフォルトで 1 日間ごみ箱に残ってから完全に削除されます。

グループ情報の表示

SHOW PROC '/colocation_group';

+-------------+--------------+----------+------------+----------------+----------+----------+
| GroupId     | GroupName    | TableIds | BucketsNum | ReplicationNum | DistCols | IsStable |
+-------------+--------------+----------+------------+----------------+----------+----------+
| 11912.11916 | 11912_group1 | 11914    | 8          | 3              | int(11)  | true     |
+-------------+--------------+----------+------------+----------------+----------+----------+

SHOW PROC '/colocation_group/GroupId';
SHOW PROC '/colocation_group/11912.11916';

+-------------+---------------------+
| BucketIndex | BackendIds          |
+-------------+---------------------+
| 0           | 10002, 10004, 10003 |
| 1           | 10002, 10004, 10003 |
| 2           | 10002, 10004, 10003 |
| 3           | 10002, 10004, 10003 |
| 4           | 10002, 10004, 10003 |
| 5           | 10002, 10004, 10003 |
| 6           | 10002, 10004, 10003 |
| 7           | 10002, 10004, 10003 |
+-------------+---------------------+
8 rows in set (0.00 sec)

グループプロパティの変更

ALTER TABLE tbl SET ("colocate_with" = "group_name");

1. TPC-H データを例として、次の操作を実行します。

   use tpc_h_sf100;
   ALTER TABLE orders SET ("colocate_with" = "cg_tpc_orders");
   ALTER TABLE lineitem SET ("colocate_with" = "cg_tpc_orders");

2. 次のクエリを実行します。

   select count(1) from orders as o join lineitem as l on o.o_orderkey = l.l_orderkey;

3. StarRocks Manager UI のクエリの Query Plan タブで、Colocate Join がアクティブかどうかを確認できます。

   colocate が true の場合、Colocate Join が有効になったことを示します。これは、実行計画の colocate: true で示されます。対応する実行計画のフラグメントは次のとおりです。

   2:HASH JOIN
   |  join op: INNER JOIN (COLOCATE)
   |  colocate: true
   |  equal join conjunct: 10: l_orderkey = 1: o_orderkey
   |
   |----1:OlapScanNode
   |       TABLE: orders
   |       PREAGGREGATION: ON
   |       PREDICATES: 1: o_orderkey IS NOT NULL
   |       partitions=1/1
   |       rollup: orders
   |       tabletRatio=96/96
   |       tabletList=12403,12405,12407,12409,12411,12413,12415,12417,12419,12421 ...
   |       cardinality=135000000
   |       avgRowSize=1.0
   |       numNodes=0