E-MapReduce:Studi kasus diagnostik dan optimasi kinerja Query Profile

Visualisasikan Query Profile

Anda dapat menggunakan StarRocks Manager untuk menganalisis Query Profile secara visual. Untuk informasi selengkapnya, lihat Pengenalan Query Profile.

Buat indeks

• Buat Bitmap index saat membuat tabel.

  CREATE TABLE `student_info` (
    `s_stukey` bigint(20) NULL COMMENT "",
    `s_name` varchar(65533) NULL COMMENT "",
    `s_gender` varchar(65533) NULL COMMENT "",
    INDEX index1 (s_gender) USING BITMAP COMMENT 'index1'
  ) ENGINE=OLAP
  DUPLICATE KEY(`s_stukey`)
  COMMENT "OLAP"
  DISTRIBUTED BY HASH(`s_stukey`);
  INSERT INTO student_info
  VALUES
      (001,'student#000000019','male'),
      (002,'student#000000020','male'),
      (003,'student#000000021','male'),
      (004,'student#000000022','female');

• Buat Bitmap index pada tabel yang sudah ada dengan menggunakan CREATE INDEX.

  CREATE INDEX index_name ON table_name (column_name) [USING BITMAP] [COMMENT ''];

Periksa progres pembuatan indeks

SHOW ALTER TABLE COLUMN [FROM db_name];

Lihat indeks

SHOW {INDEX[ES] | KEY[S] } FROM [db_name.]table_name [FROM db_name];

MySQL [db_test]> show index from student_info;
+------------------------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+
| Table                  | Non_unique | Key_name | Seq_in_index | Column_name | Collation | Cardinality | Sub_part | Packed | Null | Index_type | Comment |
+------------------------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+
| db_test.student_info   |            | index1   |              | s_gender    |           |             |          |        |      | BITMAP     | index1  |
+------------------------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+
1 row in set (0.01 sec)

Hapus indeks

DROP INDEX index_name ON [db_name.]table_name;

Uji kueri satu kolom

1. Jalankan kueri yang memfilter kolom s_gender.

   select * from student_info where s_gender='male';

2. Lihat Profil.

   Klik OLAP_SCAN, lalu klik tab Node Details di sebelah kanan. Filter metrik untuk Bitmap guna memastikan bahwa Bitmap index telah diterapkan.

Buat indeks

Saat membuat tabel, Anda dapat membuat Bloom filter index dengan menentukan bloom_filter_columns dalam klausa PROPERTIES. Contoh berikut menunjukkan cara melakukannya.

CREATE TABLE table1
(
  k1 BIGINT,
  k2 LARGEINT,
  v1 VARCHAR(2048) REPLACE,
  v2 SMALLINT DEFAULT "10"
)
ENGINE = olap
PRIMARY KEY(k1, k2)
DISTRIBUTED BY HASH (k1, k2) BUCKETS 10
PROPERTIES("bloom_filter_columns" = "k1,k2"); -- Pisahkan beberapa kolom indeks dengan koma (,).

Lihat indeks

SHOW CREATE TABLE table1;

Ubah indeks

Contohnya:

• Tambahkan Bloom filter index untuk kolom v1.

  ALTER TABLE table1 SET ("bloom_filter_columns" = "k1,k2,v1");

• Hapus Bloom filter index untuk kolom k2.

  ALTER TABLE table1 SET ("bloom_filter_columns" = "k1");

• Hapus semua Bloom filter index dari table1.

  ALTER TABLE table1 SET ("bloom_filter_columns" = "");

Contoh

1. Ambil tabel customer dari TPC-H sebagai contoh. Tambahkan Bloom filter index pada kolom dengan kardinalitas tinggi yang bukan kunci pengurutan, seperti kolom c_phone.

   ALTER TABLE tpc_h_sf100.customer SET ("bloom_filter_columns" = "c_custkey, c_phone");

2. Lihat indeks untuk memastikan bahwa Bloom filter index telah ditambahkan.

   SHOW CREATE TABLE tpc_h_sf100.customer;

   | customer | CREATE TABLE `customer` (
     `c_custkey` bigint(20) NULL COMMENT "",
     `c_name` varchar(65533) NULL COMMENT "",
     `c_address` varchar(65533) NULL COMMENT "",
     `c_nationkey` bigint(20) NULL COMMENT "",
     `c_phone` varchar(65533) NULL COMMENT "",
     `c_acctbal` double NULL COMMENT "",
     `c_mktsegment` varchar(65533) NULL COMMENT "",
     `c_comment` varchar(65533) NULL COMMENT "",
     `Gender` varchar(65533) NULL DEFAULT "default_value" COMMENT ""
   ) ENGINE=OLAP
   DUPLICATE KEY(`c_custkey`)
   COMMENT "OLAP"
   DISTRIBUTED BY HASH(`c_custkey`) BUCKETS 24
   PROPERTIES (
   "replication_num" = "1",
   "bloom_filter_columns" = "c_custkey, c_phone",
   "in_memory" = "false",
   "storage_format" = "DEFAULT",
   "enable_persistent_index" = "false",
   "compression" = "LZ4"
   ); |

3. Jalankan kueri yang memfilter kolom c_phone.

   select * from tpc_h_sf100.customer where c_phone = "10-334-921-5346";

4. Lihat Profil.

   Klik OLAP_SCAN, lalu klik tab Node Details di sebelah kanan. Temukan metrik BloomFilterFilterRows untuk memastikan bahwa Bloom filter index aktif.

Uji kueri

1. Ambil tabel lineitem dari TPC-H sebagai contoh dan jalankan kueri.

   select l_returnflag,l_linestatus,l_shipmode,sum(l_extendedprice) from lineitem group by l_returnflag,l_linestatus,l_shipmode;

2. Kueri awal membutuhkan waktu 1115 ms untuk diselesaikan karena belum ada tampilan yang di-materialisasi.

3. Lihat Profil.

   Klik OLAP_SCAN dan buka tab Node di sebelah kanan. Anda dapat melihat bahwa Rollup memindai tabel lineitem itu sendiri.

Buat tampilan yang di-materialisasi

CREATE MATERIALIZED VIEW material_test AS select l_returnflag,l_linestatus ,l_shipmode,sum(l_extendedprice) from lineitem group by l_returnflag,l_linestatus,l_shipmode;

Memverifikasi hit tampilan yang di-materialisasi

1. Anda dapat menggunakan perintah EXPLAIN untuk memeriksa apakah kueri menggunakan tampilan yang di-materialisasi satu tabel.

   explain select l_returnflag,l_linestatus ,l_shipmode,sum(l_extendedprice) from lineitem group by l_returnflag,l_linestatus,l_shipmode;

   Dalam hasil yang dikembalikan, rollup: material_test menunjukkan bahwa kueri menggunakan tampilan yang di-materialisasi bernama material_test.

   0:OlapScanNode
        TABLE: lineitem
        PREAGGREGATION: OFF. Reason: null
        partitions=1/1
        rollup: material_test
        tabletRatio=96/96
        tabletList=15646,15648,15650,15652,15654,15656,15658,15660,15662,15664 ...
        cardinality=600037902
        avgRowSize=14.285666
        numNodes=0

2. Lihat Profil.

   Klik OLAP_SCAN. Pada tab Node di sebelah kanan, Anda dapat melihat bahwa kueri menggunakan tampilan yang di-materialisasi dan waktu kueri berkurang menjadi 0,05 ms.

Buat tabel colocated

CREATE TABLE tbl (k1 int, v1 int sum)
DISTRIBUTED BY HASH(k1)
BUCKETS 8
PROPERTIES(
    "colocate_with" = "group1"
);

Hapus Colocation Group

Ketika tabel terakhir dalam suatu Group dihapus secara permanen, Group tersebut juga otomatis dihapus. Penghapusan permanen berarti tabel dihapus dari Recycle Bin. Biasanya, setelah tabel dihapus menggunakan perintah DROP TABLE, tabel tersebut tetap berada di Recycle Bin selama satu hari secara default sebelum dihapus secara permanen.

Lihat informasi grup

SHOW PROC '/colocation_group';

+-------------+--------------+----------+------------+----------------+----------+----------+
| GroupId     | GroupName    | TableIds | BucketsNum | ReplicationNum | DistCols | IsStable |
+-------------+--------------+----------+------------+----------------+----------+----------+
| 11912.11916 | 11912_group1 | 11914    | 8          | 3              | int(11)  | true     |
+-------------+--------------+----------+------------+----------------+----------+----------+

SHOW PROC '/colocation_group/GroupId';
SHOW PROC '/colocation_group/11912.11916';

+-------------+---------------------+
| BucketIndex | BackendIds          |
+-------------+---------------------+
| 0           | 10002, 10004, 10003 |
| 1           | 10002, 10004, 10003 |
| 2           | 10002, 10004, 10003 |
| 3           | 10002, 10004, 10003 |
| 4           | 10002, 10004, 10003 |
| 5           | 10002, 10004, 10003 |
| 6           | 10002, 10004, 10003 |
| 7           | 10002, 10004, 10003 |
+-------------+---------------------+
8 rows in set (0.00 sec)

Ubah properti grup

ALTER TABLE tbl SET ("colocate_with" = "group_name");

1. Menggunakan data TPC-H sebagai contoh, lakukan operasi berikut.

   use tpc_h_sf100;
   ALTER TABLE orders SET ("colocate_with" = "cg_tpc_orders");
   ALTER TABLE lineitem SET ("colocate_with" = "cg_tpc_orders");

2. Jalankan kueri berikut.

   select count(1) from orders as o join lineitem as l on o.o_orderkey = l.l_orderkey;

3. Anda dapat memeriksa apakah Colocate Join aktif pada tab Query Plan untuk kueri di UI StarRocks Manager.

   Jika nilai colocate adalah true, berarti Colocate Join telah diterapkan. Hal ini ditunjukkan oleh colocate: true dalam rencana eksekusi. Fragmen rencana eksekusi yang sesuai adalah:

   2:HASH JOIN
   |  join op: INNER JOIN (COLOCATE)
   |  colocate: true
   |  equal join conjunct: 10: l_orderkey = 1: o_orderkey
   |
   |----1:OlapScanNode
   |       TABLE: orders
   |       PREAGGREGATION: ON
   |       PREDICATES: 1: o_orderkey IS NOT NULL
   |       partitions=1/1
   |       rollup: orders
   |       tabletRatio=96/96
   |       tabletList=12403,12405,12407,12409,12411,12413,12415,12417,12419,12421 ...
   |       cardinality=135000000
   |       avgRowSize=1.0
   |       numNodes=0