Flink は、ジョブの分析を支援するための監視メトリクスを提供します。 監視メトリクスは、Realtime Compute for Apache Flink 開発コンソール内のジョブの運用・保守ページの[データカーブ]タブで直接確認できます。また、監視メトリクスを他のチャネルにレポートすることもできます。 このトピックでは、自社管理の Prometheus インスタンス、Simple Log Service (SLS)、Kafka、自社管理プラットフォーム、または複数のチャネルへの監視メトリクスのレポート方法について説明します。
注意事項
メトリクスは、セルフマネージド Prometheus インスタンス、Simple Log Service (SLS)、または Kafka にのみレポートできます。複数のチャンネルにメトリクスをレポートすることも可能です。
複数のチャンネルにメトリクスをレポートする場合
複数のチャンネルへのレポートには、追加の収集コストが発生します。また、metrics.reporters 設定項目を変更する必要があります。詳細については、「複数のチャンネルへのレポート」をご参照ください。
Flink コンソール以外のチャンネルにのみメトリクスをレポートする場合
Realtime Compute for Apache Flink は、ARMS または Cloud Monitor サービスを有効にしません。Flink 開発コンソールには監視メトリクスが表示されません。メトリクスは、レポート先のプラットフォームで表示する必要があります。
Flink 開発コンソール内の既存のアラート設定は無効になります。詳細については、「モニタリングとアラートの設定」をご参照ください。後で有効なアラート設定を作成することはできません。メトリクスがレポートされるプラットフォームでアラートを設定する必要があります。
監視メトリックレポートチャンネルのカスタマイズ
セルフマネージド Prometheus インスタンスへのレポート
ネットワークが接続されていることを確認します。次に、Flink 開発コンソールで対象ジョブの [Deployment Details] タブに移動し、[パラメーター設定] の下の [その他の設定] セクションに進みます。以下のコードを追加し、セルフマネージド Prometheus のパラメーターを変更します。パラメーターの設定方法の詳細については、「カスタムジョブ実行パラメーターの設定方法」をご参照ください。
metrics.reporters: promgatewayappmgr
metrics.reporter.promgatewayappmgr.groupingKey: 'deploymentName={{deploymentName}};deploymentId={{deploymentId}};jobId={{jobId}}'
metrics.reporter.promgatewayappmgr.jobName: '{{deploymentName}}'
metrics.reporter.promgatewayappmgr.factory.class: org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporterFactory
metrics.reporter.promgatewayappmgr.host: <Your pushgateway host>
metrics.reporter.promgatewayappmgr.port: <Your pushgateway port>コード内の <Your pushgateway host> と <Your pushgateway port> を実際の値に置き換えます。システムは deploymentName、deploymentId、および jobId を自動的に置き換えます。
Flink とご利用のセルフマネージド Prometheus 間のネットワーク接続要件は次のとおりです。
ご利用のセルフマネージド Prometheus と Flink ワークスペースが同じ VPC 内にある場合は、Prometheus セキュリティグループ設定が Flink CIDR ブロックからのアクセスを許可していることを確認します。
ご利用のセルフマネージド Prometheus と Flink ワークスペースが異なる VPC 内にあり、Prometheus インスタンスがパブリック IP アドレスを持っている場合は、Flink のパブリックネットワークアクセスを設定します。詳細については、「インターネットへのアクセス方法」をご参照ください。
ご利用のセルフマネージド Prometheus と Flink ワークスペースが異なる VPC 内にあり、Prometheus インスタンスが VPC IP アドレスのみを持っている場合は、2 つの VPC を接続する必要があります。詳細については、「VPC 間で他のサービスにアクセスする方法」をご参照ください。
Simple Log Service (SLS) へのレポート
ネットワークが接続されていることを確認します。次に、Flink 開発コンソールで対象ジョブの [Deployment Details] タブに移動し、[パラメーター設定] の下の [その他の設定] セクションに進みます。以下のコードを追加し、SLS 関連パラメーターを変更します。パラメーターの設定方法の詳細については、「カスタムジョブ実行パラメーターの設定方法」をご参照ください。
metrics.reporters: sls
metrics.reporter.sls.factory.class: org.apache.flink.metrics.sls.SLSReporterFactory
metrics.reporter.sls.project: <Your project>
metrics.reporter.sls.logStore: <Your logStore>
metrics.reporter.sls.endPoint: <Your endPoint>
metrics.reporter.sls.accessId: <Your accessId>
metrics.reporter.sls.accessKey: <Your accessKey>
metrics.reporter.sls.extraTags: deploymentId={{ deploymentId }};deploymentName={{ deploymentName}};namespace={{ namespace }}コード内の SLS 関連パラメーターを変更します。deploymentId、deploymentName、または namespace を変更する必要はありません。システムが自動的に置き換えます。AccessKey 情報の詳細については、「AccessKey ID と AccessKey Secret の表示方法」をご参照ください。
SLS の指定された Metricstore へのレポート
指定された Metricstore にレポートするには、以下のパラメーターを追加します。また、metrics.reporter.sls.logStore の値を、ご利用の Metricstore 名に変更します。
metrics.reporter.sls.toMetricStore: true
metrics.reporter.sls.logStore: <Your Metricstore name>Kafka へのレポート
ネットワークが接続されていることを確認します。次に、Flink 開発コンソールで対象ジョブの [Deployment Details] タブに移動し、[パラメーター設定] の下の [その他の設定] セクションに進みます。以下のコードを追加し、Kafka 関連パラメーターを変更します。パラメーターの設定方法の詳細については、「カスタムジョブ実行パラメーターの設定方法」をご参照ください。
metrics.reporters: monitor
metrics.reporter.monitor.factory.class: org.apache.flink.metrics.monitor.KafkaReporterFactory
metrics.reporter.monitor.kafka.bootstrap.servers: <Your servers>
metrics.reporter.monitor.topicName: <Your topicName>
metrics.reporter.monitor._FLINK_CLUSTER_NAME: '{{ deploymentName }}'
metrics.reporter.monitor._JOB_NAME: '{{ deploymentName }}'
metrics.reporter.monitor._NAMESPACE_NAME: '{{ namespace }}'コード内のセルフマネージド Kafka のパラメーターを変更します。deploymentName または namespace を変更する必要はありません。システムが自動的に置き換えます。
複数のチャンネルへのレポート
ARMS API を使用したセルフマネージドプラットフォームへのレポート
ワークスペースを作成する際に Prometheus Service を選択した場合、ARMS API を使用して Flink メトリクスを取得できます。その後、メトリクスを独自のプラットフォームに統合できます。これにより、セルフマネージドプラットフォームでメトリクスを表示できるだけでなく、Realtime Compute for Apache Flink でメトリック曲線を表示し、アラート設定を使用することもできます。
ARMS API の詳細については、「API の概要」をご参照ください。Operator 関連メトリクスの詳細については、「Operator メトリクス」をご参照ください。
Flink コンソールと他のチャンネルへのレポート
表示のためにメトリクスを他のチャンネルにレポートし、Realtime Compute for Apache Flink でメトリック曲線を表示し、アラート設定を使用する必要がある場合は、マルチチャンネルレポートを設定できます。これには追加の収集コストが発生します。
たとえば、Flink 開発コンソールと SLS の両方にメトリクスを表示するには、Flink 開発コンソールで対象ジョブの [Deployment Details] タブに移動し、[パラメーター設定] の下の [その他の設定] セクションに進みます。以下のコードを追加し、SLS 関連パラメーターを変更します。
metrics.reporters: jmx,promappmgr,sls
metrics.reporter.sls.factory.class: org.apache.flink.metrics.sls.SLSReporterFactory
metrics.reporter.sls.project: <Your project>
metrics.reporter.sls.logStore: <Your logStore>
metrics.reporter.sls.endPoint: <Your endPoint>
metrics.reporter.sls.accessId: <Your accessId>
metrics.reporter.sls.accessKey: <Your accessKey>
metrics.reporter.sls.extraTags: deploymentId={{ deploymentId }};deploymentName={{ deploymentName}};namespace={{ namespace }}metrics.reporters 設定項目に jmx,promappmgr が含まれている場合、Flink 開発コンソールでメトリクスを表示できます。その他の設定パラメーターの詳細については、「Simple Log Service (SLS) へのレポート」をご参照ください。
Flink コンソール外の複数のチャンネルへのレポート
Flink コンソール外の複数のチャンネルにメトリクスをレポートした後、Flink 開発コンソールには監視メトリクスが表示されません。メトリクスは、対応するプラットフォームで表示する必要があります。詳細については、「注意事項」をご参照ください。
たとえば、SLS と Kafka の両方にメトリクスをレポートするには、Flink 開発コンソールで対象ジョブの [Deployment Details] タブの実行パラメーターに以下のコードを設定します。
metrics.reporters: sls,monitor
metrics.reporter.sls.factory.class: org.apache.flink.metrics.sls.SLSReporterFactory
metrics.reporter.sls.project: <Your project>
metrics.reporter.sls.logStore: <Your logStore>
metrics.reporter.sls.endPoint: <Your endPoint>
metrics.reporter.sls.accessId: <Your accessId>
metrics.reporter.sls.accessKey: <Your accessKey>
metrics.reporter.sls.extraTags: deploymentId={{ deploymentId }};deploymentName={{ deploymentName}};namespace={{ namespace }}
metrics.reporter.monitor.factory.class: org.apache.flink.metrics.monitor.KafkaReporterFactory
metrics.reporter.monitor.kafka.bootstrap.servers: <Your servers>
metrics.reporter.monitor.topicName: <Your topicName>
metrics.reporter.monitor._FLINK_CLUSTER_NAME: '{{ deploymentName }}'
metrics.reporter.monitor._JOB_NAME: '{{ deploymentName }}'
metrics.reporter.monitor._NAMESPACE_NAME: '{{ namespace }}'設定パラメーターの詳細については、「Simple Log Service (SLS) へのレポート」および「Kafka へのレポート」をご参照ください。