Quando as mensagens se acumulam em um tópico Kafka ou o uso do disco aumenta repentinamente, você precisa de visibilidade no nível de partição para identificar quais partições estão afetadas e se os consumidores estão acompanhando. O status de partição expõe o número de mensagens e o intervalo de offset de cada partição em um tópico, permitindo identificar rapidamente desequilíbrios, partições inativas e crescimento do lag do consumidor.
Conceitos
| Conceito | Descrição |
|---|---|
| Partição | Um log ordenado e somente de acréscimo em um tópico. Cada partição armazena mensagens de forma independente e permite consumo paralelo. |
| Offset | Um número único e incremental atribuído a cada mensagem em uma partição, indicando sua posição. |
| Offset mínimo | O offset disponível mais antigo em uma partição. As mensagens anteriores a esse offset foram removidas pela política de retenção. |
| Offset máximo | O offset mais recente em uma partição, representando a mensagem gravada mais recentemente. |
| Lag do consumidor | A diferença entre o offset máximo e o último offset confirmado de um grupo de consumidores. Um lag grande ou crescente indica que os consumidores não conseguem acompanhar as mensagens recebidas. |
Pré-requisitos
Antes de começar, verifique se você tem:
Um tópico na instância ApsaraMQ for Kafka. Para obter mais informações, consulte Etapa 3: Criar recursos
Visualizar status de partição no console
Faça login no ApsaraMQ for Kafka console.
Na página Overview, selecione uma região na seção Resource Distribution.
Na página Instances, clique no nome da instância de destino.
No painel de navegação à esquerda, clique em Topics.
Na página Topics, clique no Name do tópico de destino para abrir a página Topic Details e clique na guia Partition Status.
Tabela 1. Informações de status de partição
Parâmetro
Descrição
Partition ID
O ID da partição do tópico.
Earliest Offset
O offset de consumidor mais antigo do tópico na partição atual.
Latest Offset
O offset de consumidor mais recente do tópico na partição atual.
Partition Messages
O número total de mensagens do tópico na partição atual.
Last Updated At
O horário em que a última mensagem nesta partição foi armazenada.
Na página Topic Details, clique na guia Partition Status.
A guia exibe os seguintes parâmetros para cada partição:
Parâmetro Descrição Partition ID O identificador único da partição no tópico. Minimum Offset O offset disponível mais antigo na partição. Maximum Offset O offset mais recente na partição. Messages O número de mensagens atualmente armazenadas na partição. Calculado como Maximum Offset menos Minimum Offset. Last Updated At O timestamp da mensagem mais recente gravada na partição.
Diagnosticar problemas comuns
Use as métricas de status de partição para identificar as causas raiz de acúmulo de mensagens, carga desequilibrada e tópicos inativos.
Distribuição desigual de mensagens
Compare o número de Messages entre as partições. Se algumas partições contêm significativamente mais mensagens do que outras, os produtores podem estar usando uma chave de partição que causa distribuição desequilibrada. Para confirmar, verifique se o código do produtor especifica uma chave e se os valores da chave são bem distribuídos.
Para obter mais detalhes, consulte Por que as mensagens são distribuídas de forma desigual entre as partições?
Lag do consumidor
O lag do consumidor é a diferença entre o offset confirmado de um grupo de consumidores e o Maximum Offset da partição. Para calcular o lag:
Consumer lag = Maximum Offset - Consumer's committed offsetUm lag grande e crescente significa que os consumidores não acompanham o ritmo de envio dos produtores. As causas comuns incluem:
Consumidores encerrados: Um ou mais consumidores no grupo foram interrompidos, transferindo a carga para os consumidores restantes.
Throughput insuficiente: A lógica de processamento do consumidor é muito lenta ou o grupo de consumidores tem poucos membros para o número de partições.
Para visualizar o offset confirmado de cada grupo de consumidores, acesse a página Consumer Groups no console.
Alto uso de disco
Procure partições com um número elevado de Messages. Grandes volumes em várias partições aumentam a pressão no disco do broker. Para reduzir o uso:
Reduza o período de retenção de mensagens do tópico.
Escale a instância para adicionar capacidade de armazenamento.
Partições inativas
Se o timestamp de Last Updated At for significativamente mais antigo do que o esperado, a partição não está mais recebendo mensagens. Verifique se seus produtores estão ativos e direcionados para o tópico correto.
Se a coluna Last Updated At exibir 1970 ou --, consulte Por que 1970 ou "--" é exibido na coluna Last Updated At das partições de um tópico?
Operações relacionadas
Para redistribuir partições com alocação desequilibrada entre tópicos que usam armazenamento em nuvem, consulte Balanceamento de partição e redirecionamento de tráfego.