Realtime Compute for Apache Flink vous permet de consulter les métriques pour analyser un déploiement. Si les métriques existantes ne répondent pas à vos besoins métier, personnalisez les métriques de surveillance et exportez-les vers d'autres plateformes. Visualisez les métriques dans l'onglet Metrics de la page Deployments de la console de développement Realtime Compute for Apache Flink ou configurez des paramètres pour les exporter vers d'autres plateformes. Cette rubrique décrit comment configurer des métriques personnalisées et les exporter vers un service Prometheus géré par vos soins, Simple Log Service, Kafka, une plateforme gérée par vos soins ou plusieurs plateformes simultanément.
Si les métriques existantes ne répondent pas à vos besoins métier, personnalisez les métriques de surveillance et exportez-les vers d'autres plateformes.
Précautions
Configurez les paramètres pour exporter les métriques uniquement vers un service Prometheus géré par vos soins, Simple Log Service ou Kafka. Vous pouvez également configurer les paramètres pour collecter et exporter les métriques vers plusieurs plateformes.
-
Exporter les métriques vers plusieurs plateformes
Pour collecter et exporter les métriques vers plusieurs plateformes, modifiez la configuration des paramètres
metrics.reporters. L'exportation vers plusieurs plateformes augmente le coût de collecte des métriques. Pour plus d'informations, consultez la section Exporter les métriques vers plusieurs plateformes. -
Exporter les métriques vers une plateforme autre que la console Realtime Compute for Apache Flink
Application Real-Time Monitoring Service (ARMS) et CloudMonitor ne sont plus activés conjointement avec Realtime Compute for Apache Flink. Dans ce cas, les métriques n'apparaissent pas dans la console Realtime Compute for Apache Flink. Visualisez les métriques sur la plateforme de destination.
Les configurations d'alerte existantes dans la console Realtime Compute for Apache Flink deviennent invalides. Pour plus d'informations, consultez la section Configurer la surveillance et les alertes. La configuration des règles d'alerte n'est plus possible dans la console Realtime Compute for Apache Flink ; effectuez cette configuration sur la plateforme de destination.
Plateformes vers lesquelles les métriques personnalisées sont exportées
Exporter les métriques vers un service Prometheus géré par vos soins
Assurez-vous qu'une connexion réseau est établie entre Realtime Compute for Apache Flink et le service Prometheus géré par vos soins. Connectez-vous ensuite à la console Realtime Compute for Apache Flink et procédez comme suit : dans le volet de navigation de gauche, cliquez sur Deployments. Sur la page Deployments, cliquez sur le nom du déploiement souhaité dans la colonne Name. Dans l'onglet Configuration , cliquez sur Edit dans le coin supérieur droit de la section Parameters , ajoutez le code suivant au champ Other Configuration , puis modifiez les valeurs des paramètres liés au service Prometheus géré par vos soins. Pour plus d'informations sur la méthode de configuration, consultez la section Configurer des paramètres d'exécution personnalisés
metrics.reporters: promgatewayappmgr
metrics.reporter.promgatewayappmgr.groupingKey: 'deploymentName={{deploymentName}};deploymentId={{deploymentId}};jobId={{jobId}}'
metrics.reporter.promgatewayappmgr.jobName: '{{deploymentName}}'
metrics.reporter.promgatewayappmgr.factory.class: org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporterFactory
metrics.reporter.promgatewayappmgr.host: pushgateway host
metrics.reporter.promgatewayappmgr.port: pushgateway portDans le code, remplacez pushgateway host par le nom d'hôte de votre Pushgateway et pushgateway port par le numéro de port de votre Pushgateway. Le système remplace automatiquement les valeurs des paramètres deploymentName, deploymentId et jobId.
-
La connexion réseau établie entre Realtime Compute for Apache Flink et un service Prometheus géré par vos soins doit répondre aux exigences suivantes :
Si le service Prometheus géré par vos soins réside dans le même VPC que l'espace de travail Realtime Compute for Apache Flink, assurez-vous que le bloc CIDR de Realtime Compute for Apache Flink peut accéder au groupe de sécurité du service Prometheus.
Si le service Prometheus géré par vos soins dispose d'un endpoint public et réside dans un VPC différent de celui de l'espace de travail Realtime Compute for Apache Flink, configurez l'accès Internet pour Realtime Compute for Apache Flink. Pour plus d'informations, consultez la section Comment Realtime Compute for Apache Flink accède-t-il à Internet ?
Si le service Prometheus géré par vos soins dispose uniquement d'un endpoint VPC et réside dans un VPC différent de celui de l'espace de travail Realtime Compute for Apache Flink, établissez une connexion entre les VPC. Pour plus d'informations, consultez la section Comment Realtime Compute for Apache Flink accède-t-il à un service via différents VPC ?
Exporter les métriques vers Simple Log Service
Assurez-vous qu'une connexion réseau est établie entre Realtime Compute for Apache Flink et Simple Log Service. Connectez-vous ensuite à la console Realtime Compute for Apache Flink et procédez comme suit : dans le volet de navigation de gauche, cliquez sur Deployments. Sur la page Deployments, cliquez sur le nom du déploiement souhaité dans la colonne Name. Dans l'onglet Configuration , cliquez sur Edit dans le coin supérieur droit de la section Parameters , ajoutez le code suivant au champ Other Configuration , puis modifiez les valeurs des paramètres liés à Simple Log Service. Pour plus d'informations sur la méthode de configuration, consultez la section Configurer des paramètres d'exécution personnalisés
metrics.reporters: sls
metrics.reporter.sls.factory.class: org.apache.flink.metrics.sls.SLSReporterFactory
metrics.reporter.sls.project: the project of Simple Log Service
metrics.reporter.sls.logStore: the Logstore of Simple Log Service
metrics.reporter.sls.endPoint: the endpoint of Simple Log Service
metrics.reporter.sls.accessId: the AccessKey ID that is used to connect to Simple Log Service
metrics.reporter.sls.accessKey: the AccessKey secret that is used to connect to Simple Log Service
metrics.reporter.sls.extraTags: deploymentId={{ deploymentId }};deploymentName={{ deploymentName}};namespace={{ namespace }}Dans le code, configurez les paramètres liés à Simple Log Service. Le système remplace automatiquement les valeurs des paramètres deploymentId, deploymentName et namespace. Pour plus d'informations sur la paire AccessKey d'un compte, consultez la section Afficher l'AccessKey ID et l'AccessKey Secret
Spécifier un Metricstore lors de l'exportation des métriques vers Simple Log Service
Pour exporter les métriques vers un Metricstore spécifique, ajoutez les configurations suivantes et modifiez la valeur de metrics.reporter.sls.logStore pour indiquer le nom de votre Metricstore.
metrics.reporter.sls.toMetricStore: true
metrics.reporter.sls.logStore: <Name of your Metricstore>Exporter les métriques vers Kafka
Assurez-vous qu'une connexion réseau est établie entre Realtime Compute for Apache Flink et Kafka. Connectez-vous ensuite à la console Realtime Compute for Apache Flink et procédez comme suit : dans le volet de navigation de gauche, cliquez sur Deployments. Sur la page Deployments, cliquez sur le nom du déploiement souhaité dans la colonne Name. Dans l'onglet Configuration , cliquez sur Edit dans le coin supérieur droit de la section Parameters , ajoutez le code suivant au champ Other Configuration , puis modifiez les valeurs des paramètres liés à Kafka. Pour plus d'informations sur la méthode de configuration, consultez la section Configurer des paramètres d'exécution personnalisés
metrics.reporters: monitor
metrics.reporter.monitor.factory.class: org.apache.flink.metrics.monitor.KafkaReporterFactory
metrics.reporter.monitor.kafka.bootstrap.servers: the addresses of the Kafka brokers
metrics.reporter.monitor.topicName: the name of the Kafka topic
metrics.reporter.monitor._FLINK_CLUSTER_NAME: '{{ deploymentName }}'
metrics.reporter.monitor._JOB_NAME: '{{ deploymentName }}'
metrics.reporter.monitor._NAMESPACE_NAME: '{{ namespace }}'Dans le code, configurez les paramètres liés au cluster Kafka géré par vos soins. Le système remplace automatiquement les valeurs des paramètres deploymentName et namespace.
Exporter les métriques vers plusieurs plateformes
Appeler une opération API ARMS pour exporter les métriques vers une plateforme gérée par vos soins
Si vous sélectionnez Alibaba Cloud Managed Service for Prometheus lors de l'achat de l'espace de travail Realtime Compute for Apache Flink, appelez une opération API ARMS pour obtenir les métriques de Realtime Compute for Apache Flink et les intégrer à votre plateforme gérée par vos soins. Vous pouvez ainsi visualiser les métriques sur votre plateforme. Vous pouvez également afficher les courbes de métriques et configurer des règles d'alerte dans la console Realtime Compute for Apache Flink.
Pour plus d'informations sur les opérations API ARMS, consultez la section Liste des opérations API par fonctionnalité. Pour plus d'informations sur les métriques des opérateurs, consultez la page Operator Metric.
Exporter les métriques vers la console Realtime Compute for Apache Flink et d'autres plateformes
Pour afficher les courbes de métriques et configurer des règles d'alerte dans la console Realtime Compute for Apache Flink tout en visualisant les métriques sur d'autres plateformes, configurez les paramètres afin d'exporter les métriques vers plusieurs plateformes. Cela augmente le coût de collecte des métriques.
Par exemple, pour visualiser les métriques dans la console Realtime Compute for Apache Flink et Simple Log Service, connectez-vous à la console Realtime Compute for Apache Flink et procédez comme suit : dans le volet de navigation de gauche, cliquez sur Deployments. Sur la page Deployments, cliquez sur le nom du déploiement souhaité dans la colonne Name. Dans l'onglet Configuration , cliquez sur Edit dans le coin supérieur droit de la section Parameters , ajoutez le code suivant au champ Other Configuration , puis modifiez les valeurs des paramètres liés à Simple Log Service.
metrics.reporters: jmx,promappmgr,sls
metrics.reporter.sls.factory.class: org.apache.flink.metrics.sls.SLSReporterFactory
metrics.reporter.sls.project: the project of Simple Log Service
metrics.reporter.sls.logStore: the Logstore of Simple Log Service
metrics.reporter.sls.endPoint: the endpoint of Simple Log Service
metrics.reporter.sls.accessId: the AccessKey ID that is used to connect to Simple Log Service
metrics.reporter.sls.accessKey: the AccessKey secret that is used to connect to Simple Log Service
metrics.reporter.sls.extraTags: deploymentId={{ deploymentId }};deploymentName={{ deploymentName}};namespace={{ namespace }}Si les paramètres metrics.reporters contiennent jmx,promappmgr , vous pouvez visualiser les métriques dans la console Realtime Compute for Apache Flink. Pour plus d'informations sur les autres paramètres, consultez la section Exporter les métriques vers Simple Log Service.
Exporter les métriques vers plusieurs plateformes autres que la console Realtime Compute for Apache Flink
Lorsque les métriques sont exportées vers plusieurs plateformes autres que la console Realtime Compute for Apache Flink, elles n'apparaissent pas dans cette console. Visualisez les métriques sur les plateformes de destination. Pour plus d'informations, consultez la section Précautions.
Par exemple, pour exporter les métriques vers Simple Log Service et Kafka, ajoutez le code suivant au champ Other Configuration de la section Parameters de l'onglet Configuration dans la console Realtime Compute for Apache Flink.
metrics.reporters: sls,monitor
metrics.reporter.sls.factory.class: org.apache.flink.metrics.sls.SLSReporterFactory
metrics.reporter.sls.project: the project of Simple Log Service
metrics.reporter.sls.logStore: the Logstore of Simple Log Service
metrics.reporter.sls.endPoint: the endpoint of Simple Log Service
metrics.reporter.sls.accessId: the AccessKey ID that is used to connect to Simple Log Service
metrics.reporter.sls.accessKey: the AccessKey secret that is used to connect to Simple Log Service
metrics.reporter.sls.extraTags: deploymentId={{ deploymentId }};deploymentName={{ deploymentName}};namespace={{ namespace }}
metrics.reporter.monitor.factory.class: org.apache.flink.metrics.monitor.KafkaReporterFactory
metrics.reporter.monitor.kafka.bootstrap.servers: the addresses of the Kafka brokers
metrics.reporter.monitor.topicName: the name of the Kafka topic
metrics.reporter.monitor._FLINK_CLUSTER_NAME: '{{ deploymentName }}'
metrics.reporter.monitor._JOB_NAME: '{{ deploymentName }}'
metrics.reporter.monitor._NAMESPACE_NAME: '{{ namespace }}'Pour plus d'informations, consultez les sections Exporter les métriques vers Simple Log Service et Exporter les métriques vers Kafka.