ApsaraMQ for Kafka propose des tableaux de bord intégrés affichant l'état de santé des instances, le débit des topics et le décalage (lag) des groupes de consommateurs. Ces tableaux de bord s'appuient sur les capacités de stockage et d'affichage des métriques de Managed Service for Prometheus et de Grafana. Consultez-les directement dans la console ApsaraMQ for Kafka ou dans un espace de travail Managed Service for Grafana.
Prérequis
Avant de commencer, vérifiez que vous avez :
-
Un rôle lié au service configuré comme suit. Pour plus de détails, consultez la section Rôle lié au service.
Élément Valeur Nom du rôle AliyunServiceRoleForAlikafka Nom de la politique AliyunServiceRolePolicyForAlikafka Autorisations Permet à ApsaraMQ for Kafka d'accéder aux services tels que CloudMonitor et ARMS en votre nom. Requis pour les fonctionnalités CloudMonitor et de tableau de bord.
Facturation
Les métriques des tableaux de bord pour ApsaraMQ for Kafka sont classées comme des métriques de base dans Managed Service for Prometheus et sont gratuites. L'utilisation de la fonctionnalité de tableau de bord n'entraîne aucun frais supplémentaire.
Pour plus de détails, consultez les sections Description des métriques et Paiement à l'utilisation.
Consultez les tableaux de bord dans la console ApsaraMQ for Kafka
Connectez-vous à la console ApsaraMQ for Kafka. Dans la section Resource Distribution de la page Overview, sélectionnez la région où se trouve votre instance.
Sur la page Instances, cliquez sur le nom de l'instance cible.
Dans le volet de navigation de gauche, choisissez .
Sur la page Dashboard, définissez une plage de temps dans le coin supérieur droit pour afficher les métriques telles que la taille de stockage de l'instance, le nombre de partitions, le nombre de connexions, ainsi que le trafic entrant et sortant.
Tableaux de bord des topics et des groupes de consommateurs
Sur la page Topic Details, cliquez sur l'onglet Dashboard pour consulter les métriques de production et les métriques du client producteur pour le topic.
Sur la page Group Details, cliquez sur l'onglet Dashboard pour consulter les métriques de consommation et les métriques du client consommateur pour le groupe de consommateurs.
Consultez les tableaux de bord dans Managed Service for Grafana
Connectez-vous à la console Managed Service for Grafana. Dans le volet de navigation de gauche, cliquez sur Workspace Management.
Sur la page Workspace Management, cliquez sur l'URL dans la colonne Endpoint de l'espace de travail que vous souhaitez ouvrir.
Suivez les instructions correspondant à votre version de Grafana :
Grafana 9.x
Dans le volet de navigation de gauche, cliquez sur l'icône
, puis cliquez sur Browse.Dans l'onglet Browse, ouvrez un tableau de bord dans le dossier cible. Par exemple, pour afficher les données de surveillance de l'instance dans la région Chine (Hangzhou), ouvrez kafka-dashboard-v3 dans le dossier commençant par
cloud-product-prometheus_cn-hangzhou. Saisissez ensuite l'ID de l'instance pour filtrer le tableau de bord.
Grafana 10.x
Cliquez sur l'icône
dans le coin supérieur gauche.Dans le volet de navigation de gauche, sélectionnez Dashboards. Ouvrez un tableau de bord dans le dossier cible. Par exemple, pour afficher les données de surveillance de l'instance dans la région Chine (Hangzhou), ouvrez kafka-dashboard-v3 dans le dossier commençant par
cloud-product-prometheus_cn-hangzhou. Saisissez ensuite l'ID de l'instance pour filtrer le tableau de bord.
Référence des métriques
Chaque métrique possède un type, un nom, une description et un ou plusieurs libellés. Les sections suivantes répertorient toutes les métriques disponibles par portée : instance, topic et groupe de consommateurs.
Types de métriques
| Type | Comportement | Exemple |
|---|---|---|
| Counter | Valeur cumulative qui ne fait qu'augmenter. | Nombre total de requêtes du producteur |
| Gauge | Valeur instantanée qui peut augmenter ou diminuer. | Spécification réservée pour l'envoi par l'instance |
| Summary | Similaire à un histogramme. Mesure la distribution statistique des valeurs observées. | Taille du corps de la requête |
Libellés
Les libellés vous permettent de filtrer et d'agréger les métriques. Les libellés suivants sont disponibles pour les métriques :
| Libellé | Description |
|---|---|
tenant_userid |
ID de votre compte Alibaba Cloud |
instance_id |
ID de l'instance ApsaraMQ for Kafka |
instance_name |
Nom de l'instance ApsaraMQ for Kafka |
topic |
Nom du topic |
partition |
Numéro de partition |
group_id |
ID du groupe de consommateurs |
authentication_type |
Méthode d'authentification de la connexion : VPC_PLAINTEXT, PUB_SASL_SSL, VPC_SASL_PLAINTEXT ou VPC_SASL_SSL |
Métriques d'instance
| Type | Nom de la métrique | Description | Libellés |
|---|---|---|---|
| Gauge | kafka_disk_log_size |
Taille de stockage de l'instance, en octets. | tenant_userid, instance_id, instance_name |
| Gauge | kafka_server_cloudenhancedreplicamanager_allreplicascount |
Nombre total de partitions sur tous les réplicas. | tenant_userid, instance_id, instance_name |
| Gauge | kafka_server_socket_server_metrics_connection_count |
Nombre de connexions. | tenant_userid, instance_id, instance_name, authentication_type |
| Gauge | kafka_instance_io_spec_write |
Spécification réservée pour l'envoi par l'instance. | tenant_userid, instance_id, instance_name |
| Gauge | kafka_instance_io_spec_read |
Spécification réservée pour la consommation par l'instance. | tenant_userid, instance_id, instance_name |
| Counter | kafka_server_brokertopicmetrics_bytesin_total |
Trafic de production (jmx-exporter), en octets. | tenant_userid, instance_id, instance_name, authentication_type |
| Counter | kafka_server_brokertopicmetrics_bytesout_total |
Trafic de consommation (jmx-exporter), en octets. | tenant_userid, instance_id, instance_name, authentication_type |
| Counter | kafka_server_brokertopicmetrics_failedproducerequests_total |
Nombre de requêtes de producteur ayant échoué. | tenant_userid, instance_id, instance_name |
| Counter | kafka_server_brokertopicmetrics_totalproducerequests_total |
Nombre total de requêtes de producteur. | tenant_userid, instance_id, instance_name, authentication_type |
| Counter | kafka_server_brokertopicmetrics_failedfetchrequests_total |
Nombre de requêtes de consommateur ayant échoué. | tenant_userid, instance_id, instance_name, authentication_type |
| Counter | kafka_server_brokertopicmetrics_totalfetchrequests_total |
Nombre total de requêtes de consommateur. | tenant_userid, instance_id, instance_name, authentication_type |
| Gauge | kafka_network_socketserver_expiredconnectionskilledcount |
Nombre de connexions expirées. | tenant_userid, instance_id, instance_name |
| Summary | kafka_network_requestmetrics_requestbytes |
Distribution de la taille du corps de la requête. | tenant_userid, instance_id, instance_name |
| Counter | kafka_server_brokertopicmetrics_bytesrejected_total |
Trafic rejeté par chaque topic lorsque la taille du lot d'enregistrements dépasse max.message.bytes, en octets. |
tenant_userid, instance_id, instance_name |
| Counter | kafka_server_brokertopicmetrics_nokeycompactedtopicrecords_total |
Nombre d'enregistrements dans un topic compacté sans clé. | tenant_userid, instance_id, instance_name |
| Counter | kafka_server_brokertopicmetrics_invalidmessagecrcrecords_total |
Nombre d'échecs de contrôle de redondance cyclique (CRC). | tenant_userid, instance_id, instance_name |
| Counter | kafka_server_brokertopicmetrics_invalidmagicnumberrecords_total |
Nombre d'échecs de vérification de la version du message. | tenant_userid, instance_id, instance_name |
| Counter | kafka_server_brokertopicmetrics_invalidoffsetorsequencerecords_total |
Nombre d'échecs d'authentification des messages causés par des décalages ou des numéros de séquence discontinus. | tenant_userid, instance_id, instance_name |
Métriques de topic
| Type | Nom de la métrique | Description | Libellés |
|---|---|---|---|
| Gauge | kafka_log_log_size |
Taille de stockage de la partition du topic. | tenant_userid, instance_id, instance_name, topic, partition |
| Gauge | kafka_topic_partition_current_offset |
Décalage maximal de la partition. | tenant_userid, instance_id, instance_name, topic, partition |
| Gauge | kafka_topic_partition_oldest_offset |
Décalage minimal de la partition. | tenant_userid, instance_id, instance_name, topic, partition |
| Gauge | kafka_consumergroup_lag |
Accumulation de messages pour le topic. Une augmentation soutenue peut indiquer que les consommateurs ne parviennent pas à suivre les producteurs. | tenant_userid, instance_id, instance_name, topic |
| Counter | kafka_server_brokertopicmetrics_totalfetchrequests_total |
Nombre total de requêtes de récupération pour le topic. | tenant_userid, instance_id, instance_name, topic, authentication_type |
| Counter | kafka_server_brokertopicmetrics_bytesin_total |
Trafic de production pour le topic (jmx-exporter), en octets. | tenant_userid, instance_id, instance_name, authentication_type |
| Counter | kafka_server_brokertopicmetrics_bytesout_total |
Trafic sortant pour le topic, en octets. | tenant_userid, instance_id, instance_name, topic, authentication_type |
| Counter | kafka_server_brokertopicmetrics_messagesin_total |
Nombre de messages entrants pour le topic. Unité : messages. | tenant_userid, instance_id, instance_name, topic, authentication_type |
Métriques de groupe de consommateurs
| Type | Nom de la métrique | Description | Libellés |
|---|---|---|---|
| Gauge | kafka_consumergroup_lag |
Quantité totale d'accumulation de messages pour le groupe de consommateurs. Un lag en croissance constante peut indiquer que les consommateurs traitent les données trop lentement. | tenant_userid, instance_id, instance_name, topic, group_id |
| Counter | kafka_consumergroup_current_offset |
Décalage actuel du consommateur pour le groupe. | tenant_userid, instance_id, instance_name, topic, partition, group_id |
FAQ
Comment obtenir les données de métriques des tableaux de bord ?
Intégrez ApsaraMQ for Kafka à Managed Service for Prometheus via le centre d'intégration ARMS.
Connectez-vous à la console ARMS avec votre compte Alibaba Cloud.
Dans le volet de navigation de gauche, cliquez sur Integration Center.
-
Recherchez
Kafka, puis sélectionnez Alibaba Cloud Kafka Message Queue Service. Pour plus de détails, consultez la section Étape 1 : Intégrer les données de surveillance d'un service Alibaba Cloud.RemarquePour collecter les données de métriques des instances ApsaraMQ for Kafka Serverless, activez l'option Advanced Monitoring Metrics dans la section Configuration Information lors de l'intégration. Sans ce paramètre, les données de métriques sont collectées uniquement pour les instances non Serverless.
Une fois l'intégration réussie, cliquez sur Integration Management dans le volet de navigation de gauche.
Cliquez sur l'onglet Cloud Service Region Environment.
Cliquez sur le nom de l'environnement cible pour ouvrir sa page de détails.
Dans l'onglet Component Management, dans la section Basic Information, cliquez sur la région de l'Prometheus Instance.
Dans l'onglet Settings, consultez les méthodes d'accès aux données disponibles.
Comment connecter les données de métriques des tableaux de bord à une instance Grafana autogérée ?
Toutes les données de métriques d'ApsaraMQ for Kafka sont stockées dans votre instance Managed Service for Prometheus. Utilisez les API fournies par Managed Service for Prometheus pour connecter les données de métriques des tableaux de bord à votre instance Grafana autogérée.
Pour plus de détails, consultez la section Connecter les données Prometheus à une instance Grafana à l'aide d'un point de terminaison HTTP API.
Avant la connexion, assurez-vous que Managed Service for Prometheus dans la région où se trouve votre instance ApsaraMQ for Kafka est intégré au service Alibaba Cloud Kafka Message Queue Service.