Este tópico descreve como usar o Managed Service for Prometheus para monitorar instâncias do ApsaraMQ for Kafka e clusters Kafka autogerenciados.
Desafios ao usar um serviço Prometheus autogerenciado para monitorar instâncias do ApsaraMQ for Kafka e clusters Kafka autogerenciados
Ao usar um serviço Prometheus autogerenciado para monitorar instâncias do ApsaraMQ for Kafka e clusters Kafka autogerenciados, você pode enfrentar os seguintes desafios:
Para garantir segurança e facilitar a gestão organizacional, é comum implantar cargas de trabalho em virtual private clouds (VPCs) separadas. Se você optar por um serviço Prometheus autogerenciado, precisará implantá-lo em cada VPC, o que aumenta os custos de implantação e de operação e manutenção (O&M).
Configure o Prometheus, o Grafana e o Alertmanager individualmente em cada sistema de monitoramento autogerenciado. Esse processo é complexo e demanda muito tempo.
Em alguns cenários, o agente JMX do Apache Kafka open source consome muitos recursos de CPU, o que afeta negativamente o desempenho dos clusters Kafka autogerenciados.
O serviço Prometheus autogerenciado não monitora instâncias do ApsaraMQ for Kafka. Consequentemente, não é possível monitorar seus clusters de mensagens de forma centralizada e unificada.
Se o cluster Kafka autogerenciado estiver em uma instância do Elastic Compute Service (ECS), o serviço Prometheus autogerenciado não definirá nem capturará alvos dinamicamente com base em tags do ECS devido à falta de mecanismos nativos de descoberta de serviços. Para contornar isso, desenvolva código em Golang para chamar a POP API do Alibaba Cloud ECS e integrá-la ao Prometheus open source. Em seguida, compile, empacote e implante o código. Esse fluxo é complexo e dificulta as atualizações de versão.
Os painéis do Grafana open source mais utilizados não permitem personalizar métricas de monitoramento alinhadas aos princípios e às melhores práticas do Apache Kafka.
Não existem modelos de alerta prontos para o Apache Kafka. Configure as regras de alerta manualmente, o que exige esforço significativo e conhecimento técnico avançado.
Comparação entre o serviço Prometheus autogerenciado e o Managed Service for Prometheus
A tabela a seguir compara o serviço Prometheus autogerenciado com o Managed Service for Prometheus no monitoramento de instâncias do ApsaraMQ for Kafka e clusters Kafka autogerenciados.
|
Item |
Serviço Prometheus autogerenciado |
Managed Service for Prometheus |
|
Custos de implantação e O&M |
Adquira instâncias ECS para implantar o Prometheus, o Grafana e o Alertmanager em múltiplas VPCs, o que resulta em altos custos de O&M. |
Serviço totalmente gerenciado, pronto para uso imediato, que integra Prometheus, Grafana e Alertmanager. |
|
Disponibilidade, desempenho e capacidade de armazenamento |
Desempenho geral e de alta disponibilidade limitados, com baixa capacidade de armazenamento. |
Alto desempenho geral e de alta disponibilidade, com ampla capacidade de armazenamento. |
|
Desempenho do Exporter |
O agente JMX do Apache Kafka open source pode consumir muitos recursos de CPU em certas situações, afetando clusters Kafka autogerenciados. |
Otimização contínua de desempenho e melhoria na estabilidade dos agentes JMX do Apache Kafka open source. |
|
Descoberta de serviços |
A descoberta de instâncias ECS depende de configurações estáticas open source ou de registros de serviços de terceiros. O processo é complexo e gera alto custo de O&M. |
Compatível com recursos de descoberta de serviços open source e oferece |
|
Painel do Grafana |
Exibe apenas as métricas coletadas, sem possibilidade de personalização conforme os princípios e as melhores práticas do Apache Kafka. |
Oferece um modelo profissional de painel para monitoramento do Apache Kafka, permitindo visualizar rapidamente o status de execução de todo o processo e solucionar problemas com precisão. |
|
Regra de alerta |
Sem modelos de alerta disponíveis para o Apache Kafka; configure todas as regras manualmente. |
Fornece modelos profissionais e flexíveis de métricas de alerta baseados nas melhores práticas de monitoramento do Apache Kafka. Configure as regras pela interface gráfica. |
|
Serviço unificado |
Implantado em várias VPCs, sem suporte a instâncias do ApsaraMQ for Kafka. Impossibilita o monitoramento centralizado e unificado dos clusters de mensagens. |
Serviço totalmente gerenciado e integrado ao ApsaraMQ for Kafka, oferecendo um sistema nativo de monitoramento completo. |
Use o Managed Service for Prometheus para monitorar o ApsaraMQ for Kafka
O Managed Service for Prometheus está integrado ao ApsaraMQ for Kafka. As principais métricas incluem:
Tráfego de instâncias, grupos e tópicos
Acúmulo de mensagens em grupos e tópicos
Uso de disco das instâncias
Métricas de rebalanceamento de grupos
Visualize os painéis do ApsaraMQ for Kafka
O ApsaraMQ for Kafka disponibiliza três painéis de monitoramento para instâncias, grupos e tópicos. Consulte esses dados para acompanhar a produção e o consumo de mensagens e identificar problemas com agilidade.
Painel da instância
Faça login no console do ApsaraMQ for Kafka. No painel de navegação à esquerda, clique em Instances.
-
Clique no nome da instância do ApsaraMQ for Kafka desejada. No painel de navegação à esquerda, clique em Prometheus Monitoring para visualizar os dados de monitoramento da instância.
Painel do grupo de consumidores
Faça login no console do ApsaraMQ for Kafka. No painel de navegação à esquerda, clique em Instances.
-
Clique no nome da instância do ApsaraMQ for Kafka desejada. No painel de navegação à esquerda, clique em Groups. Na página exibida, clique no ID do grupo que deseja consultar e selecione a aba Prometheus Monitoring para visualizar os dados de monitoramento do grupo.
Painel do tópico
Faça login no console do ApsaraMQ for Kafka. No painel de navegação à esquerda, clique em Instances.
-
Clique no nome da instância do ApsaraMQ for Kafka desejada. No painel de navegação à esquerda, clique em Topics. Na página exibida, clique no nome do tópico que deseja consultar e selecione a aba Prometheus Monitoring para visualizar os dados de monitoramento do tópico.
Configure regras de alerta para o ApsaraMQ for Kafka com o Managed Service for Prometheus
Faça login no console do ARMS.
No painel de navegação à esquerda, escolha .
Faça login no console do Cloud Monitor.
No painel de navegação à esquerda, escolha para acessar a lista de instâncias do Managed Service for Prometheus.
Clique no nome da instância do Managed Service for Prometheus que deseja gerenciar para acessar a página Integration Center.
-
Clique no cartão do ApsaraMQ for Kafka na seção Installed. No painel aberto, selecione a aba Alerts para visualizar os alertas do Prometheus referentes ao ApsaraMQ for Kafka. O Managed Service for Prometheus fornece métricas essenciais de alerta para instâncias, grupos e tópicos do ApsaraMQ for Kafka. Adicione regras de alerta conforme as necessidades do seu negócio. Para mais informações, consulte Criar regras de alerta para uma instância do Prometheus.
Use o Managed Service for Prometheus para monitorar clusters Kafka autogerenciados
Use o Managed Service for Prometheus também para monitorar clusters Kafka autogerenciados implantados em ambientes ECS ou de serviços de contêineres, como Container Service for Kubernetes (ACK), Serverless Kubernetes (ASK) e clusters registrados. O serviço coleta automaticamente métricas básicas como quantidade de brokers, partições de tópicos e atraso de grupos de mensagens. Não é necessário configurar ou reiniciar o broker Kafka para usar o Managed Service for Prometheus.
Ao monitorar clusters Kafka autogerenciados com o Managed Service for Prometheus, atente-se também às métricas internas de O&M.
Implante o componente de aplicação Kafka para clusters Kafka autogerenciados
Faça login no console do ARMS.
Faça login no console do Cloud Monitor.
No painel de navegação à esquerda, escolha Integration Center e clique no cartão Kafka à direita.
-
Defina os valores dos parâmetros conforme solicitado e clique em OK. As tabelas abaixo detalham os principais parâmetros.
ACK
Parâmetro
Descrição
Pod Label Selector
Tag e valor configurados para um pod durante a implantação do agente JMX do Kafka. O Managed Service for Prometheus utiliza essa tag para descoberta de serviços. Para mais informações, consulte Implantar e configurar um agente JMX do Kafka
Metric Collect Interval
Intervalo desejado para coleta de dados de monitoramento pelo serviço.
ECS(VPC)
Parâmetro
Descrição
Kafka cluster name
Nome do cluster Kafka, que deve ser único. Nomes duplicados podem causar coleta repetida das mesmas métricas, gerando erros nos painéis.
Service address
Endpoint do broker Kafka autogerenciado, podendo ser um endereço IP ou DNS. Separe múltiplos endereços de brokers por vírgulas (,) ou ponto e vírgula (;).
Enable SASL
Define se o recurso Simple Authentication and Security Layer (SASL) será ativado no broker Apache Kafka.
Enable TLS
Define se o recurso Transport Layer Security (TLS) será ativado no broker Apache Kafka.
Metric collection interval (units/second)
Intervalo desejado para coleta de dados de monitoramento pelo serviço.
Visualize os painéis de clusters Kafka autogerenciados
Faça login no console do ARMS.
No painel de navegação à esquerda, escolha .
Faça login no console do Cloud Monitor.
No painel de navegação à esquerda, escolha para acessar a lista de instâncias do Managed Service for Prometheus.
Clique no nome da instância do Managed Service for Prometheus que deseja gerenciar para acessar a página Integration Center.
-
Clique no cartão Kafka na seção Installed. No painel aberto, selecione a aba Dashboards e clique no gráfico do painel do Grafana que deseja visualizar.
Os painéis do componente de aplicação Kafka exibem as seguintes informações:
Quantidade de brokers Kafka.
Número de partições em cada tópico.
Volumes de mensagens recebidas, enviadas e acumuladas por tópico.
Total de réplicas sincronizadas (ISRs) em cada tópico.
Configure regras de alerta para clusters Kafka autogerenciados
Na página Integration Center do console do Managed Service for Prometheus, clique no cartão Kafka na seção Installed. No painel aberto, selecione a aba Alerts para visualizar os alertas do Prometheus.
O Managed Service for Prometheus oferece quatro métricas essenciais de alerta: Number of active brokers decrease, Number of Under Replicated partitions, Number of partitions e Consumer topic lag. Adicione outras regras de alerta conforme as necessidades do seu negócio. Para mais informações, consulte Criar regras de alerta para uma instância do Prometheus.