Use dashboards to collect and observe key Kafka metrics - ApsaraMQ for Kafka: Central de Documentação do Alibaba Cloud

Pré-requisitos

Antes de começar, verifique se você possui:

Ativado o Managed Service for Prometheus

Uma função vinculada ao serviço com a seguinte configuração. Para mais detalhes, consulte Função vinculada ao serviço.

Item	Valor
Nome da função	AliyunServiceRoleForAlikafka
Nome da política	AliyunServiceRolePolicyForAlikafka
Permissões	Permite que o ApsaraMQ for Kafka acesse serviços como CloudMonitor e ARMS em seu nome. Necessário para os recursos do CloudMonitor e de painéis.

Faturamento

As métricas de painel do ApsaraMQ for Kafka são classificadas como métricas básicas no Managed Service for Prometheus e são gratuitas. Não há cobrança adicional pelo uso do recurso de painéis.

Para mais detalhes, consulte Descrição das métricas e Pagamento conforme o uso.

Visualizar painéis no console do ApsaraMQ for Kafka

Faça login no console do ApsaraMQ for Kafka. Na seção Resource Distribution da página Overview, selecione a região onde sua instância está localizada.
Na página Instances, clique em o nome da instância desejada.
No painel de navegação à esquerda, escolha Observability > Dashboard.
Na página Dashboard, defina um intervalo de tempo no canto superior direito para visualizar métricas como tamanho de armazenamento da instância, contagem de partições, contagem de conexões e tráfego de entrada e saída.

Painéis de tópicos e grupos de consumidores

Na página Topic Details, clique em a aba Dashboard para visualizar as métricas de produção e as métricas do cliente produtor do tópico.
Na página Group Details, clique em a aba Dashboard para visualizar as métricas de consumo e as métricas do cliente consumidor do grupo de consumidores.

Visualizar painéis no Managed Service for Grafana

Faça login no console do Managed Service for Grafana. No painel de navegação à esquerda, clique em Workspace Management.
Na página Workspace Management, clique em a URL na coluna Endpoint do workspace que deseja abrir.
Siga as instruções correspondentes à sua versão do Grafana:

Grafana 9.x

No painel de navegação à esquerda, clique em o ícone e depois clique em Browse.
Na aba Browse, abra um painel na pasta de destino. Por exemplo, para visualizar dados de monitoramento de instância na região China (Hangzhou), abra o kafka-dashboard-v3 na pasta que começa com cloud-product-prometheus_cn-hangzhou. Em seguida, insira o id da instância para filtrar o painel.

Grafana 10.x

Clique em o ícone no canto superior esquerdo.
No painel de navegação à esquerda, selecione Dashboards. Abra um painel na pasta de destino. Por exemplo, para visualizar dados de monitoramento de instância na região China (Hangzhou), abra o kafka-dashboard-v3 na pasta que começa com cloud-product-prometheus_cn-hangzhou. Em seguida, insira o id da instância para filtrar o painel.

Referência de métricas

Cada métrica possui um tipo, um nome, uma descrição e um ou mais rótulos. As seções a seguir listam todas as métricas disponíveis por escopo: instância, tópico e grupo de consumidores.

Tipos de métricas

Tipo	Comportamento	Exemplo
Counter	Valor cumulativo que apenas aumenta.	Total de requisições do produtor
Gauge	Valor pontual que pode aumentar ou diminuir.	Especificação reservada para envio da instância
Summary	Semelhante a um histograma. Mede a distribuição estatística dos valores observados.	Tamanho do corpo da requisição

Rótulos

Os rótulos permitem filtrar e agregar métricas. Os seguintes rótulos estão disponíveis nas métricas:

Rótulo	Descrição
`tenant_userid`	id da sua conta Alibaba Cloud
`instance_id`	id da instância do ApsaraMQ for Kafka
`instance_name`	Nome da instância do ApsaraMQ for Kafka
`topic`	Nome do tópico
`partition`	Número da partição
`group_id`	id do grupo de consumidores
`authentication_type`	Método de autenticação da conexão: `VPC_PLAINTEXT`, `PUB_SASL_SSL`, `VPC_SASL_PLAINTEXT` ou `VPC_SASL_SSL`

Métricas de instância

Tipo	Nome da métrica	Descrição	Rótulos
Gauge	`kafka_disk_log_size`	Tamanho de armazenamento da instância, em bytes.	`tenant_userid`, `instance_id`, `instance_name`
Gauge	`kafka_server_cloudenhancedreplicamanager_allreplicascount`	Contagem total de partições em todas as réplicas.	`tenant_userid`, `instance_id`, `instance_name`
Gauge	`kafka_server_socket_server_metrics_connection_count`	Número de conexões.	`tenant_userid`, `instance_id`, `instance_name`, `authentication_type`
Gauge	`kafka_instance_io_spec_write`	Especificação reservada para envio da instância.	`tenant_userid`, `instance_id`, `instance_name`
Gauge	`kafka_instance_io_spec_read`	Especificação reservada para consumo da instância.	`tenant_userid`, `instance_id`, `instance_name`
Counter	`kafka_server_brokertopicmetrics_bytesin_total`	Tráfego de produção (jmx-exporter), em bytes.	`tenant_userid`, `instance_id`, `instance_name`, `authentication_type`
Counter	`kafka_server_brokertopicmetrics_bytesout_total`	Tráfego de consumo (jmx-exporter), em bytes.	`tenant_userid`, `instance_id`, `instance_name`, `authentication_type`
Counter	`kafka_server_brokertopicmetrics_failedproducerequests_total`	Número de requisições de produtor com falha.	`tenant_userid`, `instance_id`, `instance_name`
Counter	`kafka_server_brokertopicmetrics_totalproducerequests_total`	Número total de requisições do produtor.	`tenant_userid`, `instance_id`, `instance_name`, `authentication_type`
Counter	`kafka_server_brokertopicmetrics_failedfetchrequests_total`	Número de requisições de consumidor com falha.	`tenant_userid`, `instance_id`, `instance_name`, `authentication_type`
Counter	`kafka_server_brokertopicmetrics_totalfetchrequests_total`	Número total de requisições do consumidor.	`tenant_userid`, `instance_id`, `instance_name`, `authentication_type`
Gauge	`kafka_network_socketserver_expiredconnectionskilledcount`	Número de conexões expiradas.	`tenant_userid`, `instance_id`, `instance_name`
Summary	`kafka_network_requestmetrics_requestbytes`	Distribuição do tamanho do corpo da requisição.	`tenant_userid`, `instance_id`, `instance_name`
Counter	`kafka_server_brokertopicmetrics_bytesrejected_total`	Tráfego rejeitado por cada tópico quando o tamanho do lote de registros excede `max.message.bytes`, em bytes.	`tenant_userid`, `instance_id`, `instance_name`
Counter	`kafka_server_brokertopicmetrics_nokeycompactedtopicrecords_total`	Número de registros em um tópico compactado sem chave.	`tenant_userid`, `instance_id`, `instance_name`
Counter	`kafka_server_brokertopicmetrics_invalidmessagecrcrecords_total`	Número de falhas na verificação de redundância cíclica (CRC).	`tenant_userid`, `instance_id`, `instance_name`
Counter	`kafka_server_brokertopicmetrics_invalidmagicnumberrecords_total`	Número de falhas na verificação da versão da mensagem.	`tenant_userid`, `instance_id`, `instance_name`
Counter	`kafka_server_brokertopicmetrics_invalidoffsetorsequencerecords_total`	Número de falhas de autenticação de mensagem causadas por offsets ou números de sequência descontínuos.	`tenant_userid`, `instance_id`, `instance_name`

Métricas de tópico

Tipo	Nome da métrica	Descrição	Rótulos
Gauge	`kafka_log_log_size`	Tamanho de armazenamento da partição do tópico.	`tenant_userid`, `instance_id`, `instance_name`, `topic`, `partition`
Gauge	`kafka_topic_partition_current_offset`	Offset máximo da partição.	`tenant_userid`, `instance_id`, `instance_name`, `topic`, `partition`
Gauge	`kafka_topic_partition_oldest_offset`	Offset mínimo da partição.	`tenant_userid`, `instance_id`, `instance_name`, `topic`, `partition`
Gauge	`kafka_consumergroup_lag`	Acúmulo de mensagens do tópico. Um aumento sustentado pode indicar que os consumidores não conseguem acompanhar os produtores.	`tenant_userid`, `instance_id`, `instance_name`, `topic`
Counter	`kafka_server_brokertopicmetrics_totalfetchrequests_total`	Número total de requisições de busca para o tópico.	`tenant_userid`, `instance_id`, `instance_name`, `topic`, `authentication_type`
Counter	`kafka_server_brokertopicmetrics_bytesin_total`	Tráfego de produção do tópico (jmx-exporter), em bytes.	`tenant_userid`, `instance_id`, `instance_name`, `authentication_type`
Counter	`kafka_server_brokertopicmetrics_bytesout_total`	Tráfego de saída do tópico, em bytes.	`tenant_userid`, `instance_id`, `instance_name`, `topic`, `authentication_type`
Counter	`kafka_server_brokertopicmetrics_messagesin_total`	Número de mensagens de entrada do tópico. Unidade: mensagens.	`tenant_userid`, `instance_id`, `instance_name`, `topic`, `authentication_type`

Métricas de grupo de consumidores

Tipo	Nome da métrica	Descrição	Rótulos
Gauge	`kafka_consumergroup_lag`	Quantidade total de acúmulo de mensagens do grupo de consumidores. Um atraso crescente pode indicar que os consumidores estão processando muito lentamente.	`tenant_userid`, `instance_id`, `instance_name`, `topic`, `group_id`
Counter	`kafka_consumergroup_current_offset`	Offset atual do consumidor do grupo.	`tenant_userid`, `instance_id`, `instance_name`, `topic`, `partition`, `group_id`

Perguntas frequentes

Como obtenho dados de métricas do painel?

Integre o ApsaraMQ for Kafka ao Managed Service for Prometheus por meio do Integration Center do ARMS.

Faça login no console do ARMS com sua conta Alibaba Cloud.
No painel de navegação à esquerda, clique em Integration Center.
Pesquise por Kafka e selecione Alibaba Cloud Kafka Message Queue Service. Para mais detalhes, consulte Etapa 1: Integrar dados de monitoramento de um serviço Alibaba Cloud.

Nota
Para coletar dados de métricas de instâncias Serverless do ApsaraMQ for Kafka, ative a opção Advanced Monitoring Metrics na seção Configuration Information durante a integração. Sem essa configuração, os dados de métricas são coletados apenas para instâncias não Serverless.
Após a conclusão bem-sucedida da integração, clique em Integration Management no painel de navegação à esquerda.
Clique em a aba Cloud Service Region Environment.
Clique em o nome do ambiente desejado para abrir sua página de detalhes.
Na aba Component Management, na seção Basic Information, clique em a região da Prometheus Instance.
Na aba Settings, visualize os métodos de acesso a dados disponíveis.

Como conecto os dados de métricas do painel a uma instância Grafana autogerenciada?

Todos os dados de métricas do ApsaraMQ for Kafka são armazenados na sua instância do Managed Service for Prometheus. Utilize as APIs fornecidas pelo Managed Service for Prometheus para conectar os dados de métricas do painel à sua instância Grafana autogerenciada.

Para mais detalhes, consulte Conectar dados do Prometheus a uma instância Grafana usando um endpoint de API HTTP.

Nota

Antes de conectar, certifique-se de que o Managed Service for Prometheus na região onde sua instância do ApsaraMQ for Kafka está localizada esteja integrado ao Alibaba Cloud Kafka Message Queue Service.