E-MapReduce:Planejamento e recomendações de especificações de instância

Estimar o número total de CUs dos BEs

Em uma instância StarRocks shared-nothing, os BEs armazenam dados e executam tarefas de computação.

• Fórmula

  Total number of CUs = Total number of rows to be scanned/CPU processing capacity/Expected response time × Queries per second (QPS)

  Descrição dos parâmetros:

  • Número total de linhas a serem verificadas: total de linhas que cada instrução SQL deve percorrer. Esse parâmetro não se refere ao total de linhas de uma única tabela, mas limita-se ao volume efetivo de linhas lidas durante a execução da consulta.

  • Capacidade de processamento da CPU: valor que varia dinamicamente conforme a complexidade das instruções SQL. Geralmente, situa-se entre 10 milhões e 100 milhões de linhas por segundo. Quanto maior a complexidade do SQL, menor o número de linhas processadas.

  • Tempo de resposta esperado: duração prevista para a execução de uma instrução SQL. Por exemplo, espera-se que uma consulta retorne resultados em 1 segundo.

  • QPS: quantidade de instruções SQL enviadas simultaneamente por segundo. Exemplo: 30 consultas por segundo.

• Dados de exemplo

  Importante

  Estimativas baseadas em fórmulas podem não ser totalmente precisas, pois diferentes níveis de complexidade de SQL geram variações. Em ambientes de produção, combine o resultado da estimativa com testes de carga do negócio real para avaliar os recursos finais necessários.

  Número total de linhas a serem verificadas	Complexidade do SQL	Capacidade de processamento da CPU (linhas/segundo)	Tempo de resposta esperado (segundos)	QPS	Número total estimado de CUs	Especificações estimadas de BEs
  50 milhões	Alta	20 milhões	2	50	63	16 CUs × 4
  50 milhões	Média	50 milhões	1,5	100	67	16 CUs × 5
  50 milhões	Baixa	100 milhões	1	200	100	32 CUs × 3
  1 bilhão	Alta	20 milhões	5	20	200	32 CUs × 7
  1 bilhão	Média	50 milhões	3	50	333	64 CUs × 6
  1 bilhão	Baixa	100 milhões	1	80	800	64 CUs × 13
  30 bilhões	Alta	20 milhões	30	10	500	64 CUs × 8
  30 bilhões	Média	50 milhões	15	20	800	64 CUs × 13
  30 bilhões	Baixa	100 milhões	15	20	400	64 CUs × 6
  300 bilhões	Alta	20 milhões	60	5	2.083	64 CUs × 33
  300 bilhões	Média	50 milhões	45	10	2.222	64 CUs × 35
  300 bilhões	Baixa	100 milhões	45	10	1.111	64 CUs × 18

Estimar o espaço de armazenamento dos BEs

O espaço total de armazenamento necessário para uma instância StarRocks depende do tamanho dos dados originais, da quantidade de réplicas de dados e da taxa de compressão do algoritmo utilizado.

• Fórmula

  Total storage space required = Size of original data × Number of data replicas/Compression ratio of the data compression algorithm

  Descrição dos parâmetros:

  • Tamanho dos dados originais: tamanho de uma única linha × número total de linhas de dados.

  • Número de réplicas de dados: na arquitetura shared-nothing do StarRocks, geralmente usam-se 3 réplicas.

  • Taxa de compressão do algoritmo de dados: o StarRocks oferece suporte a quatro algoritmos de compressão: zlib, Zstandard (zstd), LZ4 e Snappy (listados em ordem decrescente de taxa de compressão). Esses algoritmos proporcionam taxas de compressão entre 3:1 e 5:1.

• Dados de exemplo

  Tamanho de uma única linha (KB)	Número total de linhas de dados	Número de réplicas de dados	Taxa de compressão do algoritmo de dados	Espaço total de armazenamento estimado (GB)
  50	100.000.000	3	3	4.768,37

  Nota

  O resultado estimado na tabela anterior serve apenas como referência. Em ambientes de produção, combine essa estimativa com os resultados de testes de carga do negócio real para determinar os recursos finais necessários.

Estimar as especificações de disco dos BEs

Fórmula:

Total disk size of a single BE = Total storage space/Disk utilization/Number of BEs

Descrição dos parâmetros:

• Espaço total de armazenamento: valor estimado anteriormente para os BEs.

• Utilização do disco: recomenda-se uma utilização de 80%. Os 20% restantes ficam reservados para computação.

• Número de BEs: quantidade de BEs definida com base no resultado da estimativa de CUs.

Por exemplo, se o espaço total de armazenamento for 4.768 GB, a utilização do disco for 80% e o número de BEs for 11, o tamanho total do disco de um único BE será de 541 GB. Esse resultado segue a fórmula: 4768 GB/80%/11 = 541 GB.

Determinar o número de discos

Defina a quantidade de discos com base no desempenho dos ESSDs e no tamanho total do disco de cada nó. Para otimizar o desempenho individual do disco, consulte a tabela abaixo para determinar o número recomendado de ESSDs PL1.

Limites superiores de desempenho para diferentes tipos de ESSD:

• ESSD PL0: atinge o limite superior de desempenho de I/O quando o tamanho do disco é de 320 GB.

• ESSD PL1: atinge o limite superior de desempenho de I/O quando o tamanho do disco é de 460 GB.

• ESSD PL2: atinge o limite superior de desempenho de I/O quando o tamanho do disco é de 1.260 GB.

• ESSD PL3: atinge o limite superior de desempenho de I/O quando o tamanho do disco é de 7.760 GB.

Ajuste a quantidade de discos para outros tipos de ESSD visando otimizar o desempenho, seguindo as sugestões acima para ESSDs PL1.

Estimar as especificações dos FEs

Os FEs são responsáveis principalmente pelo gerenciamento de metadados, gerenciamento de conexões de clientes, planejamento de consultas e agendamento de consultas.

Estime as especificações dos FEs aproximadamente com base no número total de CUs dos BEs. A tabela a seguir apresenta recomendações específicas. Um único disco de dados de um FE pode ter 100 GB. Caso o espaço seja insuficiente, redimensione o disco de dados separadamente.

Estimar o número total de CUs dos CNs

Consulte a seção Estimar o número total de CUs dos BEs para instâncias shared-nothing.

Estimar o espaço de armazenamento dos CNs

O espaço de armazenamento dos CNs destina-se principalmente ao cache de dados.

• Fórmula

  Total storage space required = Size of original data/Compression ratio of the data compression algorithm × Proportion of hot data

  Descrição dos parâmetros:

  • Tamanho dos dados originais: tamanho de uma única linha × número total de linhas de dados.

  • Taxa de compressão do algoritmo de dados: o StarRocks oferece suporte a quatro algoritmos de compressão: zlib, zstd, LZ4 e Snappy (listados em ordem decrescente de taxa de compressão). Esses algoritmos proporcionam taxas de compressão entre 3:1 e 5:1.

  • Proporção de dados quentes: avalie a proporção de dados quentes consultados frequentemente com base nas condições do seu negócio. Por exemplo, o resultado da avaliação pode indicar uma proporção de 50%. Se não tiver certeza sobre a proporção exata e desejar que o desempenho de consulta da instância shared-data atenda aos requisitos da melhor forma possível, defina a proporção como 100%, o que representa uma réplica completa dos dados. O índice de chave primária também ocupa espaço de cache. Reserve uma margem de segurança de 20%. Portanto, defina este valor como 120%.

• Dados de exemplo

  Tamanho de uma única linha (KB)	Número total de linhas de dados	Taxa de compressão do algoritmo de dados	Proporção de dados quentes	Espaço total de armazenamento estimado (GB)
  50	100.000.000	3	120%	1.907,35

  Nota

  O resultado estimado na tabela anterior serve apenas como referência. Em ambientes de produção, combine essa estimativa com os resultados de testes de carga do negócio real para determinar os recursos finais necessários.

Consulte a seção Estimar as especificações de disco dos BEs para instâncias shared-nothing, a fim de estimar o tamanho e a quantidade de discos para um único CN.

Estimar as especificações dos FEs

Consulte a seção Estimar as especificações dos FEs para instâncias shared-nothing.