E-MapReduce:Query Profile performance diagnostics and optimization case studies

Visualização do Query Profile

O StarRocks Manager oferece suporte à análise visual de Query Profiles. Para mais informações, consulte Query Profile introduction.

Identificar gargalos de consulta

Na visualização do Query Profile no StarRocks Manager, os operadores com maior tempo de execução aparecem em cores mais escuras. Os três operadores com a maior duração de execução são destacados, facilitando a identificação dos gargalos da consulta.

Otimizar consultas de campos grandes que causam erros de falta de memória (OOM)

Ao consultar uma tabela que contém campos grandes como TEXT ou VARCHAR, a leitura ou o processamento de grande volume de dados nesses campos pode causar um erro de falta de memória (OOM). Aplique as medidas a seguir para reduzir o consumo de memória:

• Evite SELECT *. Especifique explicitamente apenas as colunas necessárias para reduzir o volume de dados lidos e carregados na memória.

• Mantenha campos grandes fora de operações de agregação como GROUP BY e DISTINCT, para evitar conjuntos de resultados intermediários excessivamente grandes.

• Ative o recurso de spill to disk para aliviar a pressão de memória, definindo a variável de sessão enable_spill=true.

• Otimize o schema da tabela movendo campos de texto grandes para uma tabela separada e mantendo apenas índices e campos pequenos na tabela principal. Essa abordagem de divisão de tabelas não tem efeito em cenários de agregação.

Criar um índice

• Crie um Bitmap index ao criar uma tabela.

CREATE TABLE `student_info` (
  `s_stukey` bigint(20) NULL COMMENT "",
  `s_name` varchar(65533) NULL COMMENT "",
  `s_gender` varchar(65533) NULL COMMENT "",
  INDEX index1 (s_gender) USING BITMAP COMMENT 'index1'
) ENGINE=OLAP
DUPLICATE KEY(`s_stukey`)
COMMENT "OLAP"
DISTRIBUTED BY HASH(`s_stukey`);
INSERT INTO student_info
VALUES
    (001,'student#000000019','male'),
    (002,'student#000000020','male'),
    (003,'student#000000021','male'),
    (004,'student#000000022','female');

• Crie um Bitmap index em uma tabela existente usando CREATE INDEX.

CREATE INDEX index_name ON table_name (column_name) [USING BITMAP] [COMMENT ''];

Verificar o progresso da criação do índice

Execute o seguinte comando para verifique o progresso de uma tarefa de criação de índice:

SHOW ALTER TABLE COLUMN [FROM db_name];

Visualizar um índice

Execute o seguinte comando para visualize os índices de uma tabela:

SHOW {INDEX[ES] | KEY[S] } FROM [db_name.]table_name [FROM db_name];

A saída retornada é a seguinte:

MySQL [db_test]> show index from student_info;
+------------------------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+
| Table                  | Non_unique | Key_name | Seq_in_index | Column_name | Collation | Cardinality | Sub_part | Packed | Null | Index_type | Comment |
+------------------------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+
| db_test.student_info   |            | index1   |              | s_gender    |           |             |          |        |      | BITMAP     | index1  |
+------------------------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+
1 row in set (0.01 sec)

Remover um índice

Execute o seguinte comando para remover um índice:

DROP INDEX index_name ON [db_name.]table_name;

Testar uma consulta de coluna única

1. Execute uma consulta que filtre a coluna s_gender.

   select * from student_info where s_gender='male';

2. Visualize o Profile.

   Clique em OLAP_SCAN e, em seguida, clique na aba Node Details à direita. Filtre as métricas por Bitmap para confirme que o Bitmap index está ativo.

Criar um índice

Ao criar uma tabela, crie um Bloom filter index especificando bloom_filter_columns na cláusula PROPERTIES. O exemplo a seguir demonstra como fazer isso.

CREATE TABLE table1
(
  k1 BIGINT,
  k2 LARGEINT,
  v1 VARCHAR(2048) REPLACE,
  v2 SMALLINT DEFAULT "10"
)
ENGINE = olap
PRIMARY KEY(k1, k2)
DISTRIBUTED BY HASH (k1, k2) BUCKETS 10
PROPERTIES("bloom_filter_columns" = "k1,k2"); -- Separate multiple index columns with commas (,).

Visualizar um índice

Execute o seguinte comando para visualize os índices de uma tabela:

SHOW CREATE TABLE table1;

Modificar um índice

Por exemplo:

• Adicione um Bloom filter index para a coluna v1.

ALTER TABLE table1 SET ("bloom_filter_columns" = "k1,k2,v1");

• Remova o Bloom filter index da coluna k2.

ALTER TABLE table1 SET ("bloom_filter_columns" = "k1");

• Exclua todos os Bloom filter indexes de table1.

ALTER TABLE table1 SET ("bloom_filter_columns" = "");

Exemplo

1. Usando a tabela customer do TPC-H como exemplo, adicione um Bloom filter index em uma coluna de alta cardinalidade que não seja uma chave de ordenação, como a coluna c_phone.

   ALTER TABLE tpc_h_sf100.customer SET ("bloom_filter_columns" = "c_custkey, c_phone");

2. Visualize o índice para confirme que o Bloom filter index foi adicionado.

   SHOW CREATE TABLE tpc_h_sf100.customer;

   | customer | CREATE TABLE `customer` (
     `c_custkey` bigint(20) NULL COMMENT "",
     `c_name` varchar(65533) NULL COMMENT "",
     `c_address` varchar(65533) NULL COMMENT "",
     `c_nationkey` bigint(20) NULL COMMENT "",
     `c_phone` varchar(65533) NULL COMMENT "",
     `c_acctbal` double NULL COMMENT "",
     `c_mktsegment` varchar(65533) NULL COMMENT "",
     `c_comment` varchar(65533) NULL COMMENT "",
     `Gender` varchar(65533) NULL DEFAULT "default_value" COMMENT ""
   ) ENGINE=OLAP
   DUPLICATE KEY(`c_custkey`)
   COMMENT "OLAP"
   DISTRIBUTED BY HASH(`c_custkey`) BUCKETS 24
   PROPERTIES (
   "replication_num" = "1",
   "bloom_filter_columns" = "c_custkey, c_phone",
   "in_memory" = "false",
   "storage_format" = "DEFAULT",
   "enable_persistent_index" = "false",
   "compression" = "LZ4"
   ); |

3. Execute uma consulta que filtre a coluna c_phone.

   select * from tpc_h_sf100.customer where c_phone = "10-334-921-5346";

4. Visualize o Profile.

   Clique em OLAP_SCAN e, em seguida, clique na aba Node Details à direita. Localize a métrica BloomFilterFilterRows para confirme que o Bloom filter index está ativo.

Testar uma consulta

1. Usando a tabela lineitem do TPC-H como exemplo, execute uma consulta.

   select l_returnflag,l_linestatus,l_shipmode,sum(l_extendedprice) from lineitem group by l_returnflag,l_linestatus,l_shipmode;

2. A consulta inicial leva 1115 ms para ser concluída porque nenhuma materialized view foi criada.

3. Visualize o Profile.

   Clique em OLAP_SCAN e acesse a aba Node à direita. É possível verifique que o Rollup varreu a própria tabela lineitem.

Criar uma materialized view

Execute o seguinte comando para criar uma materialized view de tabela única:

CREATE MATERIALIZED VIEW material_test AS select l_returnflag,l_linestatus ,l_shipmode,sum(l_extendedprice) from lineitem group by l_returnflag,l_linestatus,l_shipmode;

Verificar acerto da materialized view

1. Use o comando EXPLAIN para verifique se a consulta utiliza a materialized view de tabela única.

   explain select l_returnflag,l_linestatus ,l_shipmode,sum(l_extendedprice) from lineitem group by l_returnflag,l_linestatus,l_shipmode;

   No resultado retornado, rollup: material_test indica que a consulta utilizou a materialized view chamada material_test.

   0:OlapScanNode
        TABLE: lineitem
        PREAGGREGATION: OFF. Reason: null
        partitions=1/1
        rollup: material_test
        tabletRatio=96/96
        tabletList=15646,15648,15650,15652,15654,15656,15658,15660,15662,15664 ...
        cardinality=600037902
        avgRowSize=14.285666
        numNodes=0

2. Visualize o Profile.

   Clique em OLAP_SCAN. Na aba Node à direita, é possível confirme que a consulta utilizou a materialized view e que o tempo de execução foi reduzido para 0,05 ms.

Criar uma tabela colocada

Execute o seguinte comando para criar uma tabela em um Colocation Group:

CREATE TABLE tbl (k1 int, v1 int sum)
DISTRIBUTED BY HASH(k1)
BUCKETS 8
PROPERTIES(
    "colocate_with" = "group1"
);

Exclusão automática de um Colocation Group

Quando a última tabela de um grupo é excluída permanentemente, o grupo também é excluído automaticamente. A exclusão permanente significa que a tabela foi removida da Lixeira. Após exclua uma tabela com o comando DROP TABLE, ela permanece na Lixeira por um dia por padrão antes de ser excluída permanentemente.

Visualizar informações do grupo

Por exemplo, execute o seguinte comando para visualize as informações do grupo.

SHOW PROC '/colocation_group';

O comando retorna as seguintes informações.

+-------------+--------------+----------+------------+----------------+----------+----------+
| GroupId     | GroupName    | TableIds | BucketsNum | ReplicationNum | DistCols | IsStable |
+-------------+--------------+----------+------------+----------------+----------+----------+
| 11912.11916 | 11912_group1 | 11914    | 8          | 3              | int(11)  | true     |
+-------------+--------------+----------+------------+----------------+----------+----------+

A tabela a seguir descreve as colunas.

Execute o seguinte comando para visualize a distribuição de dados de um grupo específico.

SHOW PROC '/colocation_group/GroupId';
SHOW PROC '/colocation_group/11912.11916';

O comando retorna as seguintes informações.

+-------------+---------------------+
| BucketIndex | BackendIds          |
+-------------+---------------------+
| 0           | 10002, 10004, 10003 |
| 1           | 10002, 10004, 10003 |
| 2           | 10002, 10004, 10003 |
| 3           | 10002, 10004, 10003 |
| 4           | 10002, 10004, 10003 |
| 5           | 10002, 10004, 10003 |
| 6           | 10002, 10004, 10003 |
| 7           | 10002, 10004, 10003 |
+-------------+---------------------+
8 rows in set (0.00 sec)

Modificar propriedades do grupo

Execute o seguinte comando para mover uma tabela para um Colocation Group diferente:

ALTER TABLE tbl SET ("colocate_with" = "group_name");

Exemplo

1. Atribua as tabelas orders e lineitem do conjunto de dados TPC-H ao mesmo Colocation Group.

   use tpc_h_sf100;
   ALTER TABLE orders SET ("colocate_with" = "cg_tpc_orders");
   ALTER TABLE lineitem SET ("colocate_with" = "cg_tpc_orders");

2. Execute a seguinte consulta.

   select count(1) from orders as o join lineitem as l on o.o_orderkey = l.l_orderkey;

3. Verifique se o Colocate Join está ativo na aba Query Plan da consulta na interface do StarRocks Manager.

   Quando colocate for true, o Colocate Join está ativo. No plano de execução, isso aparece como colocate: true. O fragmento do plano de consulta correspondente é:

2:HASH JOIN
|  join op: INNER JOIN (COLOCATE)
|  colocate: true
|  equal join conjunct: 10: l_orderkey = 1: o_orderkey
|
|----1:OlapScanNode
|       TABLE: orders
|       PREAGGREGATION: ON
|       PREDICATES: 1: o_orderkey IS NOT NULL
|       partitions=1/1
|       rollup: orders
|       tabletRatio=96/96
|       tabletList=12403,12405,12407,12409,12411,12413,12415,12417,12419,12421 ...
|       cardinality=135000000
|       avgRowSize=1.0
|       numNodes=0