E-MapReduce:Recomendações para avaliar especificações de recursos do cluster

Parâmetros de negócio

Reúna os seguintes parâmetros de negócio antes de calcular a quantidade de brokers e o tamanho do disco:

O pico de tráfego costuma ser uma ordem de grandeza superior ao tráfego médio. Defina adequadamente o valor de pico de tráfego de entrada e mantenha capacidade redundante suficiente para que o cluster sustente o serviço sob carga extrema.

Use esses parâmetros para derivar as seguintes métricas no nível do cluster:

Especificações recomendadas para os nós

Defina os nós Core com as seguintes especificações:

Tipo de disco. Use discos em nuvem como discos de dados para evitar a carga operacional e de manutenção (O&M) decorrente de falhas em discos físicos. Essa prática melhora a disponibilidade do serviço e reduz os custos de mão de obra de O&M.

Após selecionar o tipo e a quantidade de discos, calcule o throughput total de E/S do disco do nó. Selecione uma placa de interface de rede (NIC) com largura de banda igual ou superior ao throughput total de E/S do disco.

Número de brokers

Em condições ideais, o teto de throughput de um broker Kafka é limitado pelo throughput de E/S do disco ou pela largura de banda da NIC. Siga as etapas abaixo para calcular a quantidade necessária de brokers.

Etapa 1: Calcular o throughput do disco por nó.

Disk throughput per node = Throughput per disk x Number of data disks

Como referência, o throughput máximo de um SSD Empresarial PL1 (ESSD) é de 350 MB/s. Para discos locais, use metade do valor teórico como throughput efetivo, geralmente 50 MB/s.

Para valores detalhados de desempenho de disco, consulte Desempenho de armazenamento em bloco.

Etapa 2: Calcular o número de brokers com base no tráfego.

Com um fator de replicação de 3, use pelo menos 4 brokers para garantir a criação de uma partição com 3 réplicas mesmo se um broker ficar temporariamente indisponível. Mantenha 50% de capacidade redundante:

Number of brokers = Max(4, (Total peak read traffic + Total peak write traffic) / Disk throughput per node / 50%)

Etapa 3: Verificar os limites de réplicas de partição.

Se o número total de réplicas de partição for elevado, faça uma verificação cruzada com a fórmula baseada em partições:

Number of brokers = Max(4, Total number of partitions x Partition replication factor / 2,000)

Limites de réplicas de partição:

Etapa 4: Calcular o tamanho do disco por broker.

Disk size per broker = Total storage capacity / Number of brokers / Number of data disks per node / 50%

Dimensionamento após a criação do cluster

A reserva de redundância de 50% incorporada às fórmulas de dimensionamento mantém o cluster abaixo do limiar de carga onde começa o throttling. Após criar o cluster, monitore a utilização de recursos e use o recurso de scale-out para ajustar as configurações com base no uso real.