Realtime Compute for Apache Flink permite consultar métricas para analizar un despliegue. Si las métricas existentes no satisfacen sus requisitos empresariales, puede personalizar las métricas de monitoreo y reportarlas a otras plataformas. Puede consultar las métricas en la pestaña Metrics de la página Deployments en la consola de desarrollo de Realtime Compute for Apache Flink, o bien configurar parámetros para enviar dichas métricas a otras plataformas. Este tema describe cómo configurar métricas personalizadas y reportarlas a un servicio Prometheus autogestionado, Simple Log Service, Kafka, una plataforma autogestionada o varias plataformas simultáneamente.
Si las métricas existentes no satisfacen sus requisitos empresariales, puede personalizar las métricas de monitoreo y reportarlas a otras plataformas.
Precauciones
Puede configurar parámetros para reportar métricas únicamente a un servicio Prometheus autogestionado, Simple Log Service o Kafka. También es posible configurar parámetros para recopilar y reportar métricas a varias plataformas.
-
Reportar métricas a varias plataformas
Si desea recopilar y reportar métricas a varias plataformas, debe modificar las configuraciones de los parámetros metrics.reporters. Al reportar métricas a múltiples plataformas, el costo de recopilación aumenta. Para obtener más información, consulte Report metrics to multiple platforms.
-
Reportar métricas a una plataforma distinta de la consola de Realtime Compute for Apache Flink
Application Real-Time Monitoring Service (ARMS) o CloudMonitor ya no se activan junto con Realtime Compute for Apache Flink. En este caso, las métricas no se muestran en la consola de Realtime Compute for Apache Flink. Puede consultar las métricas en la plataforma a la que se reportan.
Las configuraciones de alerta existentes en la consola de Realtime Compute for Apache Flink dejan de ser válidas. Para obtener más información, consulte Configure monitoring and alerting. Ya no es posible configurar reglas de alerta en la consola de Realtime Compute for Apache Flink; debe configurarlas en la plataforma a la que se reportan las métricas.
Plataformas a las que se reportan las métricas personalizadas
Reportar métricas a un servicio Prometheus autogestionado
Asegúrese de que exista una conexión de red entre Realtime Compute for Apache Flink y el servicio Prometheus autogestionado. A continuación, inicie sesión en la consola de Realtime Compute for Apache Flink y realice las siguientes operaciones: en el panel de navegación izquierdo, haga clic en Deployments. En la página Deployments, haga clic en el nombre del despliegue deseado en la columna Name. En la pestaña Configuration, haga clic en Edit en la esquina superior derecha de la sección Parameters, agregue el siguiente código al campo Other Configuration y modifique los valores de los parámetros relacionados con el servicio Prometheus autogestionado. Para obtener más información sobre el método de configuración, consulte Configure custom running parameters.
metrics. reporters: promgatewayappmgr
metrics. reporter. promgatewayappmgr. groupingKey: 'deploymentName={{deploymentName}};deploymentId={{deploymentId}};jobId={{jobId}}'
metrics. reporter. promgatewayappmgr. jobName: '{{deploymentName}}'
metrics. reporter. promgatewayappmgr. factory. class: org. apache. flink. metrics. prometheus. PrometheusPushGatewayReporterFactory
metrics. reporter. promgatewayappmgr. host: pushgateway host
metrics. reporter. promgatewayappmgr. port: pushgateway portEn el código, debe reemplazar pushgateway host por el nombre de host de su Pushgateway y pushgateway port por el número de puerto de su Pushgateway. El sistema reemplaza automáticamente los valores de los parámetros deploymentName, deploymentId y jobId.
-
La conexión de red establecida entre Realtime Compute for Apache Flink y un servicio Prometheus autogestionado debe cumplir los siguientes requisitos:
Si el servicio Prometheus autogestionado reside en la misma virtual private cloud (VPC) que el espacio de trabajo de Realtime Compute for Apache Flink, debe asegurarse de que el bloque CIDR de Realtime Compute for Apache Flink pueda acceder al security group del servicio Prometheus autogestionado.
Si el servicio Prometheus autogestionado tiene un endpoint público y reside en una VPC diferente a la del espacio de trabajo de Realtime Compute for Apache Flink, debe configurar el acceso a Internet para Realtime Compute for Apache Flink. Para obtener más información, consulte How does Realtime Compute for Apache Flink access the Internet?.
Si el servicio Prometheus autogestionado solo tiene un endpoint de VPC y reside en una VPC diferente a la del espacio de trabajo de Realtime Compute for Apache Flink, debe establecer una conexión entre las VPC. Para obtener más información, consulte How does Realtime Compute for Apache Flink access a service across VPCs?.
Reportar métricas a Simple Log Service
Asegúrese de que exista una conexión de red entre Realtime Compute for Apache Flink y Simple Log Service. A continuación, inicie sesión en la consola de Realtime Compute for Apache Flink y realice las siguientes operaciones: en el panel de navegación izquierdo, haga clic en Deployments. En la página Deployments, haga clic en el nombre del despliegue deseado en la columna Name. En la pestaña Configuration, haga clic en Edit en la esquina superior derecha de la sección Parameters, agregue el siguiente código al campo Other Configuration y modifique los valores de los parámetros relacionados con Simple Log Service. Para obtener más información sobre el método de configuración, consulte Configure custom running parameters.
metrics. reporters: sls
metrics. reporter. sls. factory. class: org. apache. flink. metrics. sls. SLSReporterFactory
metrics. reporter. sls. project: the project of Simple Log Service
metrics. reporter. sls. logStore: the Logstore of Simple Log Service
metrics. reporter. sls. endPoint: the endpoint of Simple Log Service
metrics. reporter. sls. accessId: the AccessKey ID that is used to connect to Simple Log Service
metrics. reporter. sls. accessKey: the AccessKey secret that is used to connect to Simple Log Service
metrics. reporter. sls. extraTags: deploymentId={{ deploymentId }};deploymentName={{ deploymentName}};namespace={{ namespace }}En el código, debe configurar los parámetros relacionados con Simple Log Service. El sistema reemplaza automáticamente los valores de los parámetros deploymentId, deploymentName y namespace. Para obtener más información sobre el par de AccessKey de una cuenta, consulte View AccessKey ID and AccessKey Secret.
Especificar un Metricstore al reportar métricas a Simple Log Service
Para reportar métricas a un Metricstore específico, debe agregar las siguientes configuraciones y cambiar el valor de metrics. reporter. sls. logStore por el nombre de su Metricstore.
metrics. reporter. sls. toMetricStore: true
metrics. reporter. sls. logStore: < Name of your Metricstore>Reportar métricas a Kafka
Asegúrese de que exista una conexión de red entre Realtime Compute for Apache Flink y Kafka. A continuación, inicie sesión en la consola de Realtime Compute for Apache Flink y realice las siguientes operaciones: en el panel de navegación izquierdo, haga clic en Deployments. En la página Deployments, haga clic en el nombre del despliegue deseado en la columna Name. En la pestaña Configuration, haga clic en Edit en la esquina superior derecha de la sección Parameters, agregue el siguiente código al campo Other Configuration y modifique los valores de los parámetros relacionados con Kafka. Para obtener más información sobre el método de configuración, consulte Configure custom running parameters.
metrics. reporters: monitor
metrics. reporter. monitor. factory. class: org. apache. flink. metrics. monitor. KafkaReporterFactory
metrics. reporter. monitor. kafka. bootstrap. servers: the addresses of the Kafka brokers
metrics. reporter. monitor. topicName: the name of the Kafka topic
metrics. reporter. monitor._FLINK_CLUSTER_NAME: '{{ deploymentName }}'
metrics. reporter. monitor._JOB_NAME: '{{ deploymentName }}'
metrics. reporter. monitor._NAMESPACE_NAME: '{{ namespace }}'En el código, debe configurar los parámetros relacionados con el clúster de Kafka autogestionado. El sistema reemplaza automáticamente los valores de los parámetros deploymentName y namespace.
Reportar métricas a varias plataformas
Invocar una operación de API de ARMS para reportar métricas a una plataforma autogestionada
Si seleccionó Alibaba Cloud Managed Service for Prometheus al adquirir el espacio de trabajo de Realtime Compute for Apache Flink, puede invocar una operación de API de ARMS para obtener las métricas de Realtime Compute for Apache Flink e integrarlas en su plataforma autogestionada. En este caso, puede consultar las métricas en su plataforma autogestionada. También puede consultar curvas de métricas y configurar reglas de alerta en la consola de Realtime Compute for Apache Flink.
Para obtener más información sobre las operaciones de API de ARMS, consulte List of API operations by feature. Para obtener más información sobre las métricas de los operadores, consulte Operator Metric.
Reportar métricas a la consola de Realtime Compute for Apache Flink y a otras plataformas
Si desea consultar curvas de métricas y configurar reglas de alerta en la consola de Realtime Compute for Apache Flink, y además consultar métricas en otras plataformas, puede configurar parámetros para reportar métricas a varias plataformas. Esto incrementa el costo de recopilación de métricas.
Por ejemplo, si desea consultar métricas tanto en la consola de Realtime Compute for Apache Flink como en Simple Log Service, inicie sesión en la consola de Realtime Compute for Apache Flink y realice las siguientes operaciones: en el panel de navegación izquierdo, haga clic en Deployments. En la página Deployments, haga clic en el nombre del despliegue deseado en la columna Name. En la pestaña Configuration, haga clic en Edit en la esquina superior derecha de la sección Parameters, agregue el siguiente código al campo Other Configuration y modifique los valores de los parámetros relacionados con Simple Log Service.
metrics. reporters: jmx, promappmgr, sls
metrics. reporter. sls. factory. class: org. apache. flink. metrics. sls. SLSReporterFactory
metrics. reporter. sls. project: the project of Simple Log Service
metrics. reporter. sls. logStore: the Logstore of Simple Log Service
metrics. reporter. sls. endPoint: the endpoint of Simple Log Service
metrics. reporter. sls. accessId: the AccessKey ID that is used to connect to Simple Log Service
metrics. reporter. sls. accessKey: the AccessKey secret that is used to connect to Simple Log Service
metrics. reporter. sls. extraTags: deploymentId={{ deploymentId }};deploymentName={{ deploymentName}};namespace={{ namespace }}Si los parámetros metrics.reporters contienen jmx, promappmgr, puede consultar las métricas en la consola de Realtime Compute for Apache Flink. Para obtener más información sobre otros parámetros, consulte Report metrics to Simple Log Service.
Reportar métricas a varias plataformas distintas de la consola de Realtime Compute for Apache Flink
Cuando se reportan métricas a varias plataformas distintas de la consola de Realtime Compute for Apache Flink, las métricas no se muestran en dicha consola. Debe consultar las métricas en las plataformas a las que se reportan. Para obtener más información, consulte Precautions.
Por ejemplo, si desea reportar métricas a Simple Log Service y Kafka, puede agregar el siguiente código al campo Other Configuration en la sección Parameters de la pestaña Configuration en la consola de Realtime Compute for Apache Flink.
metrics. reporters: sls, monitor
metrics. reporter. sls. factory. class: org. apache. flink. metrics. sls. SLSReporterFactory
metrics. reporter. sls. project: the project of Simple Log Service
metrics. reporter. sls. logStore: the Logstore of Simple Log Service
metrics. reporter. sls. endPoint: the endpoint of Simple Log Service
metrics. reporter. sls. accessId: the AccessKey ID that is used to connect to Simple Log Service
metrics. reporter. sls. accessKey: the AccessKey secret that is used to connect to Simple Log Service
metrics. reporter. sls. extraTags: deploymentId={{ deploymentId }};deploymentName={{ deploymentName}};namespace={{ namespace }}
metrics. reporter. monitor. factory. class: org. apache. flink. metrics. monitor. KafkaReporterFactory
metrics. reporter. monitor. kafka. bootstrap. servers: the addresses of the Kafka brokers
metrics. reporter. monitor. topicName: the name of the Kafka topic
metrics. reporter. monitor._FLINK_CLUSTER_NAME: '{{ deploymentName }}'
metrics. reporter. monitor._JOB_NAME: '{{ deploymentName }}'
metrics. reporter. monitor._NAMESPACE_NAME: '{{ namespace }}'Para obtener más información, consulte Report metrics to Simple Log Service y Report metrics to Kafka.