ApsaraMQ for Kafka:Limites

Item

Limite

Descrição

Número total de tópicos (total de partições)

Valor específico

O armazenamento e a coordenação ocorrem no nível da partição. Um número excessivo de tópicos (ou do total de partições) pode levar à fragmentação do armazenamento, o que degrada o desempenho e a estabilidade do cluster.

Número mínimo de partições por tópico

• Instâncias por assinatura e pagamento conforme o uso:

  • Para tópicos com armazenamento em cloud: 2

  • Para tópicos com armazenamento local: 1

• Instâncias Serverless:

  • Para tópicos com armazenamento nativo da cloud: 1

Se o tráfego for alto, uma única partição pode se tornar um ponto crítico e causar desbalanceamento de dados. Configure um número adequado de partições.

Redução do número de partições de um tópico

Não suportado

Trata-se de uma limitação inerente ao design do Apache Kafka.

Exposição do ZooKeeper

Não suportado

Desde a versão 0.9.0 do Apache Kafka, os clientes não precisam mais acessar o ZooKeeper. O ZooKeeper usado pelo ApsaraMQ for Kafka é parcialmente compartilhado e não é exposto por motivos de segurança. Suas aplicações não necessitam de acesso ao ZooKeeper.

Login na máquina onde o Message Queue for Apache Kafka está implantado

Não suportado

Nenhuma.

Versões suportadas

2.2.x a 3.3.x

• Instâncias não serverless suportam as versões 2.2.x a 2.6.x.

• Instâncias Serverless suportam a versão 3.3.x.

Para atualizar a versão da instância, consulte Upgrade an instance version.

Proporção entre partições e tópicos

1:1

O número de tópicos disponíveis relaciona-se diretamente ao número total de partições. Por exemplo, se você adquirir uma instância da especificação alikafka.hw.2xlarge com 50 partições compradas e 1.000 partições gratuitas, o total será de 50 + 1.000 = 1.050. Nesse caso, é possível utilizar até 1.050 tópicos.

Alteração da região de uma instância

Não suportado

Após a implantação da instância, a região torna-se fixa e não pode ser alterada. Para mudar de região, libere a instância atual e adquira uma nova.

Alteração das propriedades de rede de uma instância

Suportado

É possível alterar as propriedades de rede conforme necessário. Para mais informações, consulte Upgrade instance configurations.

Tamanho da mensagem

10 MB

As mensagens não podem exceder 10 MB. Mensagens maiores são rejeitadas.

Monitoramento e alertas

Suportado

Os dados de monitoramento apresentam um atraso de 1 minuto.

Endpoint

Depende da edição adquirida

• Instâncias não serverless:

  • Standard Edition: Suporta endpoint padrão e endpoint SSL.

  • Professional Edition: Suporta endpoint padrão, endpoint SSL e endpoint SASL.

• Instâncias Serverless: Suportam endpoint padrão, endpoint SSL e endpoint SASL.

Tópicos de partição única com armazenamento em cloud

Podem ficar indisponíveis durante interrupções ou atualizações.

Crie tópicos com mais de uma partição. Caso seja obrigatório usar uma única partição, selecione armazenamento local.

Número máximo de mensagens por lote

32.767

Se as mensagens individuais forem muito pequenas, defina batch.size com um valor não superior a 16.384.

Item

Limite

Descrição

Instâncias não serverless

Serverless (Basic)

Serverless (Standard e Professional)

Limite rígido

Conexões por nó

• Inicia em 1.000.

• Aumenta 1.000 para cada 100 MB/s adicionais de tráfego real de produção.

• Máximo: 10.000.

Fórmula:

C = min(10000, 1000 + (F // 100) * 1000)

• Inicia em 2.000.

• Aumenta 1.000 para cada 300 MB/s adicionais de capacidade reservada de produção.

• Máximo: 10.000.

Fórmula:

C = min(10000, 2000 + (F // 300) * 1000)

Sim

Quantidade de conexões TCP em um único broker.

Para aumentar o limite de conexões, envie um ticket.

Ao exceder o limite, novas conexões são estabelecidas lentamente e as conexões menos recentemente usadas (LRU) são encerradas.

Conexões SSL por nó

• Inicia em 200.

• Aumenta 100 para cada 100 MB/s adicionais de tráfego real de produção.

• Máximo: 1.000.

Fórmula:

C = min(1000, 200 + (F // 100) * 100)

• Inicia em 200.

• Aumenta 100 para cada 300 MB/s adicionais de capacidade reservada de produção.

• Máximo: 1.000.

Fórmula:

C = min(1000, 200 + (F // 300) * 100)

Sim

Quantidade de conexões TCP SSL em um único broker.

Ao exceder o limite, novas conexões são estabelecidas lentamente e as conexões menos recentemente usadas (LRU) são encerradas.

Taxa de estabelecimento de conexões por nó

50/segundo

150/segundo

150/segundo

Sim

Número de tentativas de conexão por segundo entre cliente e servidor. Inclui tentativas falhas por motivos como erro de autenticação.

Ao exceder o limite, novas conexões são estabelecidas lentamente.

Taxa de estabelecimento de conexões SSL por nó

10/segundo

Sim

Número de tentativas de conexão SSL por segundo entre cliente e servidor. Inclui tentativas falhas por motivos como erro de autenticação.

Ao exceder o limite, novas conexões são estabelecidas lentamente.

Tamanho do lote

Um tamanho de lote com percentil 50 (TP50) abaixo de 4 KB é considerado fragmentado.

Não

Tamanho de um lote de mensagens em uma requisição PRODUCE. Lotes fragmentados (frequentes e pequenos) aumentam a carga de cpu do servidor e afetam a estabilidade do cluster. Utilize versões de cliente 2.4 ou posteriores para melhorar o agrupamento em lotes. Para mais informações, consulte Improve send performance (reduce fragmented requests).

Taxa de requisições de produção por cluster

• Inicia em 10.000 requisições/segundo.

• Aumenta 2.000 para cada 20 MB/s adicionais de tráfego real de produção.

Fórmula:

R = 10000 + (F // 20) * 2000

• Inicia em 10.000 requisições/segundo.

• Aumenta 5.000 para cada 300 MB/s adicionais de capacidade reservada de produção.

Fórmula:

R = 10000 + (F // 300) * 5000

• Inicia em 10.000 requisições/segundo.

• Aumenta 2.000 para cada 60 MB/s adicionais de capacidade reservada de produção.

Fórmula:

R = 10000 + (F // 60) * 2000

Não

Quantidade de requisições PRODUCE enviadas pelos clientes por segundo. Uma taxa elevada pode aumentar a carga de cpu do servidor e afetar a estabilidade do cluster.

Para aumentar o limite de requisições, envie um ticket.

Taxa de requisições de busca por cluster

• Inicia em 5.000 requisições/segundo.

• Aumenta 1.000 para cada 20 MB/s adicionais de tráfego real de consumo.

Fórmula:

R = 5000 + (F // 20) * 1000

• Inicia em 5.000 requisições/segundo.

• Aumenta 2.500 para cada 100 MB/s adicionais de capacidade reservada de assinatura.

Fórmula:

R = 5000 + (F // 100) * 2500

• Inicia em 5.000 requisições/segundo.

• Para cada aumento de 20 MB/s no throughput reservado de assinatura, o número de requisições por segundo aumenta em 1.000.

Fórmula:

R = 5000 + (F // 20) * 1000

Não

Quantidade de requisições FETCH dos clientes por segundo. Uma taxa elevada pode aumentar a carga de cpu do servidor e afetar a estabilidade do cluster.

Para aumentar o limite de requisições, envie um ticket.

Taxa de commit de offset por nó

• Inicia em 100 requisições/segundo.

• Aumenta 100 para cada 100 MB/s adicionais de tráfego real de produção.

• Máximo: 1.000 requisições/segundo.

Fórmula:

R = min(1000, 100 + (F // 100) * 100)

• Inicia em 100 requisições/segundo.

• Aumenta 100 para cada 100 MB/s adicionais de capacidade reservada de produção.

• Máximo: 1.000 requisições/segundo.

Fórmula:

R = min(1000, 100 + (F // 100) * 100)

Não

Quantidade de requisições OFFSET_COMMIT enviadas pelos clientes por segundo. Uma taxa elevada pode aumentar a carga de cpu do servidor e afetar a estabilidade do cluster.

Para aumentar o limite de requisições, envie um ticket.

Taxa de requisições de metadados por cluster

• Inicia em 100 requisições/segundo.

• Aumenta 100 para cada 100 MB/s adicionais de tráfego real de produção.

• Máximo: 1.000 requisições/segundo.

Fórmula:

R = min(1000, 100 + (F // 100) * 100)

• Inicia em 100 requisições/segundo.

• Aumenta 100 para cada 100 MB/s adicionais de capacidade reservada de produção.

• Máximo: 1.000 requisições/segundo.

Fórmula:

R = min(1000, 100 + (F // 100) * 100)

Não

Requisições de metadados do cliente recebidas pelo servidor, como METADATA, INIT_PRODUCER_ID, CREATE_ACL e JOIN_GROUP.

Número máximo de partições

Para verificar o número máximo de partições conforme as diferentes especificações de instância, consulte Instance specifications and partition limits.

Sim

Total de partições em todos os tópicos. Se o limite for excedido, não será possível criar novos tópicos ou adicionar partições.

Para aumentar o limite de partições, envie um ticket.

Taxa de criação/exclusão de partições por cluster

900 partições a cada 10 segundos

Não

Inclui todas as operações de partição realizadas via console, API ou ferramentas Kafka Admin.

Número de grupos de consumidores por cluster

2.000 por cluster

A proporção recomendada de tópicos para grupos na assinatura é de 1:1, não devendo exceder 3:1.

Não

Quantidade de grupos de consumidores utilizados pelos clientes.

Para aumentar o limite de grupos, envie um ticket.

Versão do formato de mensagem

A versão do formato de mensagem para produção e consumo deve ser V1 ou superior.

Sim

Recomenda-se o uso de versões de cliente 2.4 ou posteriores.

Interceptação de timestamp inválido

Quando message.timestamp.type=CreateTime, o broker rejeita a mensagem se a diferença entre o timestamp do broker no momento do recebimento e o timestamp da mensagem exceder o valor configurado em message.timestamp.difference.max.ms. Essa configuração evita definições incorretas de timestamp. Se o timestamp estiver muito no passado, o segmento de log poderá ser excluído imediatamente. Se estiver muito no futuro, o segmento de log poderá nunca ser excluído.

Sim

O cliente recebe um erro claro: INVALID_TIMESTAMP (32, "The timestamp of the message is out of acceptable range.").

Limite de tamanho de tópico compactado

Tópicos compactados não são habilitados por padrão.

Sim

Tópicos compactados são desabilitados por padrão para evitar que padrões anormais de escrita esgotem o armazenamento do cluster e causem falhas.

Caso necessite desse recurso, envie um ticket.

Outros limites

• Habilitar algoritmos de compressão como GZIP consome mais recursos do servidor, podendo aumentar a latência e reduzir o throughput.

• Inicializar um grande volume de transações com alta frequência para obter um Producer Id pode causar erros de falta de memória (OOM) e sobrecarga do servidor, afetando a estabilidade. Por esse motivo, ajustamos o parâmetro de kernel transactional.id.expiration.ms para 60 minutos. Se tiver requisitos específicos, envie um ticket.

• Se a utilização da cpu de uma instância ultrapassar 85%, a estabilidade do cluster pode ser afetada, resultando em problemas como indisponibilidade ou flutuações de latência de longa duração na produção e consumo de mensagens.

• O desempenho do Kafka depende do cluster. Se o comportamento de produção ou a atribuição de partições estiver desbalanceada, talvez não seja possível utilizar totalmente a capacidade do cluster.

• O recurso de mensagens transacionais open source possui diversos problemas conhecidos e não corrigidos, como KAFKA-12671. Use este recurso com cautela. Para mais informações, consulte KAFKA ISSUES.

• A duplicação de mensagens pode ocorrer no Kafka em vários cenários, como durante um rebalanceamento. Para evitar impactos nos negócios devido a mensagens duplicadas, implemente uma lógica de consumo idempotente.

Não

Nenhuma