PolarDB:DDL paralelo

Defina a contagem de threads para criação de índice secundário

O parâmetro innodb_polar_parallel_ddl_threads controla quantas threads são executadas em paralelo para cada operação DDL.

Exemplo:

-- Use 8 parallel threads for the current session
SET innodb_polar_parallel_ddl_threads = 8;

-- Create a secondary index using the configured thread count
ALTER TABLE t0 ADD INDEX idx_b (b);

Ative a criação paralela de índice de chave primária

O DDL paralelo para índices de chave primária requer ativação de teste adicional.

Otimizar a fase de ordenação

Caso o paralelismo padrão de threads não atenda aos seus requisitos de desempenho, ative a ordenação por amostra para otimizar ainda mais a fase de ordenação.

Exemplo:

SET innodb_polar_parallel_ddl_threads = 8;
SET innodb_polar_use_sample_sort = ON;

ALTER TABLE t0 ADD INDEX idx_b (b);

Otimizar a fase de carregamento

Para acelerar ainda mais a construção da árvore de índices, ative o carregamento em massa paralelo.

Exemplo — todas as três otimizações ativadas:

SET innodb_polar_parallel_ddl_threads = 8;
SET innodb_polar_use_sample_sort = ON;
SET innodb_polar_use_parallel_bulk_load = ON;

ALTER TABLE t0 ADD INDEX idx_b (b);

Ambiente de teste

• Cluster: PolarDB for MySQL 8.0 Standard Edition, 16 núcleos, 128 GB de memória

• Armazenamento: 50 TB

Tabela de teste

CREATE TABLE t0(
  a INT PRIMARY KEY,
  b INT) ENGINE=InnoDB;

Os dados de teste foram gerados pelo seguinte procedimento:

DELIMITER //
CREATE PROCEDURE populate_t0()
BEGIN
     DECLARE i int DEFAULT 1;
     WHILE (i <= $table_size) DO
             INSERT INTO t0 VALUES (i, 1000000 * RAND());
             SET i = i + 1;
     END WHILE;
END //
DELIMITER ;
CALL populate_t0();

Método de teste

Cada teste mede o tempo necessário para criar um índice secundário na coluna b (tipo INT) em tabelas de tamanho crescente, com innodb_polar_parallel_ddl_threads definido como 1, 2, 4, 8, 16 e 32.

Resultados do teste

Os gráficos abaixo mostram a taxa de aceleração em relação ao DDL de thread única (contagem de threads = 1) sob três combinações de parâmetros.

Apenas paralelismo de threads (innodb_polar_parallel_ddl_threads):

Paralelismo de threads + ordenação por amostra (innodb_polar_parallel_ddl_threads + innodb_polar_use_sample_sort):

Todos os três parâmetros (innodb_polar_parallel_ddl_threads + innodb_polar_use_sample_sort + innodb_polar_use_parallel_bulk_load):