Realtime Compute for Apache Flink は、CloudMonitor (無料サービス) または Application Real-Time Monitoring Service (ARMS) のモニタリングとアラートをサポートしています。ジョブのメトリックアラートとイベントアラート、およびワークフローのアラートを設定することで、例外を迅速に特定し、対処できます。このトピックでは、さまざまなモニタリングサービスを使用してモニタリングとアラートを設定する方法について説明します。
制限事項
-
デプロイメント時にセッションクラスターに送信された Flink ジョブには、モニタリングとアラート機能は設定できません。
-
現在、バッチジョブではモニタリングとアラート機能はサポートされていません。
-
ARMS はワークフローアラートをサポートしていません。ただし、CloudMonitor (無料サービス) を使用して引き続き設定できます。
構成ガイド
ワークスペースで利用しているモニタリングサービスのタイプ (モニタリングサービスのタイプを確認) に応じて、適切な設定方法を選択してください。
-
無料モニタリングサービス (CloudMonitor)
-
メトリックアラート設定:CPU、レイテンシー、データ量などのメトリック値の変化に基づいてアラートを設定します。単一または複数のジョブに対して設定できます。
-
イベントアラート設定 (ワークフローを含む):ジョブの失敗などのイベントの発生に基づいてアラートを設定します。ジョブおよびワークフローのイベントに対して設定できます。
-
-
ARMS モニタリングサービス
-
メトリックアラート設定:メトリック値の変化に基づいてアラートを設定します (6 つのコアメトリックに対応)。単一または複数のジョブに対して設定できます。
-
イベントアラート設定:モニタリングサービスのタイプに関係なく、CloudMonitor イベントアラート設定を通じてイベントアラートを設定できます。
-
モニタリングサービスタイプの切り替え
さまざまなビジネスニーズに合わせて、モニタリングサービスのタイプを切り替えることができます。
[管理コンソール]で、対象のワークスペースの[アクション]列にある[その他]をクリックし、他の監視サービスタイプに切り替えます。
サービスタイプの切り替えに関する注意事項をよくお読みください。確認チェックボックスを選択した後にのみ、設定を続行できます。
CloudMonitor を使用したモニタリングとアラートの設定
メトリックアラート設定
ワークスペースを購入した Alibaba Cloud アカウント、およびそのアカウントに属し、名前空間の権限を持つ RAM ユーザーと RAM ロールのみが、CloudMonitor でアラートを設定できます。
-
CloudMonitor コンソールにログインします。
-
左側メニューで、 を選択します。
-
[Create Alert Rule] をクリックし、パラメーターを設定します。
-
パラメーター
説明
製品
Realtime Compute for Apache Flink
リソーススコープ
[Instance] を選択します。 アラートルールは、指定された Realtime Compute for Apache Flink のワークスペースに適用されます。
関連リソース
[Add Instance] をクリックし、ターゲットリージョンでワークスペースを選択して (ワークスペース ID などの情報を表示するにはどうすればよいですか?)、[OK] をクリックします。
ルールの説明
[Add Rule] > [Simple Metric] または [Composite Metric] をクリックして、[Set Rule Description] パネルを開きます。
このパネルには、[Critical]、[Warn] (SMS、Eメール、Webhookで通知)、および [Info] (Eメール、Webhookで通知) という複数のアラートレベルがあります。 各レベルでしきい値条件を設定できます。 たとえば、「平均値が 3 期間連続で指定されたしきい値以上である」といった条件です (1 期間 = 1 分)。
[Dimension] セクションでは、[namespace] (Flink の名前空間名) と [deploymentID] (Flink ジョブの [Configuration] タブにある [deployment ID]) を設定して、モニタリングするジョブを指定できます。
説明-
名前空間と deploymentID のドロップダウンリストが空の場合、値を手動で入力できます。
-
これらのフィールドを空のままにすると、すべての名前空間のすべてのジョブがモニタリングされます。
説明-
本番環境では、単一メトリックのアラートは誤検知や検知漏れにつながりやすいです。 複合メトリックアラートは、ビジネス上の例外をより正確に反映できます。 詳細については、「モニタリングとアラートの推奨設定例とテンプレート」をご参照ください。
-
その他のパラメーターの詳細については、「アラートルールの作成」をご参照ください。
-
イベントアラート設定 (ワークフローを含む)
ワークスペースを購入した Alibaba Cloud アカウント、およびそのアカウントに属し、名前空間の権限を持つ RAM ユーザーと RAM ロールのみが、CloudMonitor でアラートを設定したり、イベントをサブスクライブしたりできます。
ジョブのイベントアラート
条件を設定して、ジョブのシステムイベントアラートをサブスクライブします。 イベントアラートの一括設定がサポートされています。
-
CloudMonitor コンソールにログインします。
-
左側メニューで、 を選択します。
-
[Subscription Policy] タブで、[Create Subscription Policy] をクリックします。
-
[Create Subscription Policy] ページで、パラメーターを設定します。 パラメーターの詳細については、「イベントサブスクリプションの管理 (推奨)」をご参照ください。
-
サブスクリプションタイプ: [System Event] を選択します。
-
製品: [Realtime Compute for Apache Flink] を選択します。
-
イベント名: [Job Run Failed]、[Post-mortem Processing for ECS Downtime]、および [Impact of Proactive O&M on ECS] イベントがサポートされています。
-
イベントの内容: イベントの内容に以下の Flink 情報を入力することで、ジョブを指定したり、一括アラートを設定したりできます。
-
ワークスペース ID: ターゲットワークスペース配下のすべての名前空間のすべてのジョブに対してイベントアラートを設定します。 ワークスペース ID を表示するには、「ワークスペース ID などの情報を表示するにはどうすればよいですか?」をご参照ください。
-
名前空間名: ターゲット名前空間のすべてのジョブに対してイベントアラートを設定します。
-
デプロイメントジョブ名: 特定のジョブに対してイベントアラートを設定します。 複数のジョブ名はコンマ (
,) で区切ります。 アカウントに同じ名前のジョブがある場合は、代わりに Deployment ID を使用してください。 -
Deployment ID: 特定のジョブに対してイベントアラートを設定します。 複数の ID はコンマ (
,) で区切ります。 ID は、Flink ジョブページの [Configuration] タブで、[deployment ID] として確認できます。
-
説明[Application Group]、[Message]、または [Event Resource] を設定しない場合、サブスクリプションはアカウント内のすべてのワークスペースに適用されます。
-
ワークフローのイベントアラート
条件を設定して、Flink ワークフローのシステムイベントアラートをサブスクライブします。 イベントアラートの一括設定がサポートされています。 ワークフローの詳細については、「ワークフローの管理」をご参照ください。
-
ワークフローノードのリソース ID を取得します。
-
CloudMonitor コンソールにログインします。
-
左側メニューで、 を選択します。
-
[Event Monitoring] タブで、[Product] を [Realtime Compute for Apache Flink] に、[Event Name] を [Workflow Task Status Change] に設定し、[Search] をクリックします。
-
以下でワークフローノードのリソース ID を見つけます。
[Event Monitoring] ページで、[Product] ドロップダウンリストから [Realtime Compute for Apache Flink] を選択します。 イベントリストで、イベント名が [flink:Workflow:TaskStateChange Workflow Task Status Change] のレコードを見つけます。 [Resource] 列でワークフローノードのリソース ID を確認できます。
リソース形式は
acs:flink:cn-hangzhou:<AlibabaCloudAccountId>:resourceId/workspaceId/<workspaceId-namespaceId>#workflowDefinitionName/<workflowDefinitionName>#taskDefinitionName/<taskDefinitionName>です。 この形式を使用して、ワークフローノードのリソース ID を直接作成することもできます。パラメーター
説明
<AlibabaCloudAccountId>Flink ワークスペースを所有する Alibaba Cloud アカウントの ID。
<workspaceId-namespaceId>workspaceIdとnamespaceIdをハイフン (-) で結合したものです。workspaceId: ワークスペース ID。 詳細については、「ワークスペースの管理と操作」をご参照ください。namespaceId: 名前空間名。<workflowDefinitionName>ワークフロー名。
<taskDefinitionName>ワークフローノード名。
説明ワークフローの状態変更イベントが CloudMonitor に表示されるまでには、通常数分の遅延があります。
-
-
イベント通知をサブスクライブします。
-
左側メニューで、 を選択します。
-
[Subscription Policy] タブで、[Create Subscription Policy] をクリックします。
-
[Create Subscription Policy] ページで、サブスクリプションポリシーのパラメーターを設定します。 パラメーターの詳細については、「イベントサブスクリプションの管理 (推奨)」をご参照ください。
-
サブスクリプションタイプ: [System Event] を選択します。
-
製品: [Realtime Compute for Apache Flink] を選択します。
-
イベント名: [Workflow Task Status Change] を選択します。
-
イベントの内容:
toState: FAILED(ワークフロー失敗)、toState: SUCCESS(ワークフロー成功)、fromState: SCHEDULED, toState: RUNNING(ワークフローの状態がスケジュール済みから実行中に変更) などのパラメーターの入力がサポートされています。 -
イベントリソース: 手順 1 で取得したワークフローのリソース ID を入力します。 複数の ID はコンマ (
,) で区切ります。 -
イベントタイプ、イベントレベル、アプリケーショングループ: これらは設定しないでください。
-
-
ARMS によるモニタリングとアラートの設定
メトリックアラート設定
ARMS での複数メトリックのモニタリングは、カスタム PromQL を使用した場合にのみサポートされます。より簡単な設定方法については、「CloudMonitor メトリックアラート設定」をご参照ください。
単一ジョブの設定 (管理コンソール)
対象ジョブの新しいアラートルールを作成するか、アラートルールテンプレートを作成して対象ジョブのアラートを作成できます。これにより、モニタリングとアラートを迅速に設定できます。
開発コンソールでは、過去 48 時間のアラートイベントのみが表示されます。それ以前のアラートイベントを表示するには、ARMS コンソールの [アラート管理] に移動します。
-
アラート設定ページに移動します。
-
管理コンソールにログインし、対象のワークスペースの[アクション]列で[コンソール]をクリックします。
-
ページで、対象のジョブの名前をクリックします。
-
[アラーム] タブをクリックします。
-
-
[アラートルール] タブで、 を選択します。
を選択することもできます。アラートテンプレートを追加して使用すると、アラートルールを直接、またはわずかな変更を加えるだけで作成できるため、設定プロセスを高速化できます。
-
アラートルール情報を入力します。
カテゴリ
パラメーター
説明
[ルール]
[名前]
英字で始まり、使用できるのは小文字の英字、数字、アンダースコア (_) のみです。長さは 3~64 文字にする必要があります。
[説明]
ルールに関する注釈。
[内容]
アラートをトリガーする条件を設定します。システムは、指定された間隔でメトリック値をしきい値と比較します。結果が条件を満たす場合、アラートが自動的にトリガーされます。
-
[メトリック]:
-
1 分間の再起動回数:1 分間に Job Manager が再起動した回数。
-
5 分間のチェックポイント数:5 分間に成功したチェックポイントの数。
-
エミット遅延:ビジネスレイテンシーであり、データが生成されてから Source オペレーターを出るまでの時間差を指します。単位は秒です。
重要データの生成時刻は、外部システムに記録されたタイムスタンプによって決まります。外部システムにタイムスタンプがない場合、またはタイムスタンプが正しく記録されていない場合、エミット遅延の値は不正確になり、実際のレイテンシーを反映しません。複数のメトリックを使用してアラートを設定し、実際のイベントを判断してください。詳細については、「モニタリングとアラートの推奨設定例とテンプレート」をご参照ください。
-
IN RPS:1 秒あたりの入力レコード数。単位はレコード/秒です。
-
OUT RPS:1 秒あたりの出力レコード数。単位はレコード/秒です。
-
ソースアイドル時間:ソースがデータを処理していない時間。単位はミリ秒です。
-
ジョブ失敗:ジョブが失敗しました。
-
-
[時間差]:システムが各チェックで遡ってクエリする履歴データの期間です。単位は分です。
-
[比較演算子]:>= と <= をサポートしています。
-
[しきい値]:メトリックと比較する値。
-
>= 演算子を選択した場合、システムは縦軸の MAX 値を使用します。指定した期間内の最大値がしきい値以上の場合、アラートルールがトリガーされます。
-
<= 演算子を選択した場合、システムは縦軸の MIN 値を使用します。指定した期間内の最小値がしきい値以下の場合、アラートルールがトリガーされます。
-
たとえば、「5分間のチェックポイント数」メトリックをモニタリングしているとします。時間差を 10 分、しきい値を 2、演算子を「<=」に設定した場合、
毎分、システムは過去 10 分間の履歴データをチェックし、成功したチェックポイント数が 2 以下の 5 分間隔が見つかると、アラートをトリガーします。
[トリガー期間]
アラートモニタリングがアクティブになる期間です。日中 (9:00~18:00) のみにアクティブにするよう指定できます。デフォルトでは終日アクティブです。
[アラーム頻度]
指定した連続分数内でアラートを 1 回のみ送信します。1~1440 分 (24 時間) の範囲で設定できます。
[通知方法]
[通知方法]
複数の通知方法を選択できます。サポートされている方法は次のとおりです。
-
DingTalk
-
メール
-
SMS
-
Webhook
-
電話
受信者の電話番号が検証済みであることを確認してください。そうでない場合、この方法は機能しません。以下の [通知オブジェクト管理] をクリックします。連絡先タブで対象の連絡先の [電話] 列に [未検証] と表示されている場合は、クリックして検証を完了します。
重要利用可能な通知連絡先が作成、追加されていることを確認してください。追加されていない場合、アラート通知は失敗します。たとえば、通知方法として DingTalk を選択した場合は、DingTalk を選択したうえで、DingTalk チャットボットタイプの通知連絡先を追加してください。
[通知オブジェクト]
複数の連絡先に同時に通知できます。連絡先は選択または検索できます。連絡先を選択する前に、右側にある[通知対象の管理]をクリックして通知対象を作成する必要があります。詳細については、「ワークスペースの管理と操作」をご参照ください。
[アラームノイズリダクション]
[詳細設定] をクリックすると、[アラームノイズリダクション] スイッチをオンにできます。
アラームノイズリダクションをオンにすると、クラスターのスケジューリングや自動チューニングによってトリガーされる短期的なフェイルオーバーなど、ジョブが迅速に回復できるシナリオではアラートは送信されません。設定したしきい値条件が継続して満たされる場合にのみ、アラートが送信されます。
[データなしアラーム]
[詳細設定] をクリックすると、[データなしアラーム] スイッチをオンにして、連続データなし時間情報を入力できます。
この機能をオンにすると、システムはモニタリングデータが報告されないシナリオを監視します。指定した期間内にデータが報告されない場合、アラートがトリガーされます。通常、JobManager の異常、ジョブの予期せぬ停止、報告リンクの異常などが原因でモニタリングデータが報告されないことがあります。
-
-
[OK] をクリックします。
保存したアラートルールはデフォルトで有効になり、アラートルールリストに表示されます。ルールの停止、編集、または削除を実行できます。
単一または複数ジョブの設定 (ARMS コンソール)
Flink コンソールでジョブ名を変更すると、元のジョブ名に基づいて ARMS コンソールで設定したアラートルールは無効になります。名前を変更したジョブを再選択し、アラートを再設定して有効化する必要があります。
-
管理コンソールにログインします。
-
対象のワークスペースの [操作] 列で、 を選択して ARMS コンソールに移動します。
画面上部にワークスペース名、ワークスペース ID、および対応する Prometheus インスタンス名が表示されます。
左側メニューには、[ダッシュボードリスト]、[サービスディスカバリー]、[メトリック管理]、[アラートルール]、[設定] が含まれます。右上にエージェントのステータスが表示されます。[サービスディスカバリー] ページの [メトリック] タブでは、ジョブ名、メトリックタイプ、その他の条件でメトリックをフィルタリングできます。メトリックリストには、メトリック名、ジョブ名、メトリックタイプ、その他の情報が表示されます。
-
アラートルールを作成するには、左側の[アラートルール]をクリックします。
-
チェックタイプ:静的しきい値によるメトリックアラートとカスタム PromQL をサポートしています (Flink でサポート済みのアラートメトリックは除きます)。
-
フィルター条件: 一括アラート設定がサポートされています。[名前空間]には、名前空間名を入力します。すべてを選択すると、ワークスペース内のすべての名前空間を意味します。[デプロイの作成]には、名前空間内の対象ジョブの[デプロイ ID]を入力します (Flink ジョブの[設定]タブで確認できます)。すべてを選択すると、名前空間内のすべてのジョブを意味します。
設定パラメーターの詳細については、「Prometheus アラートルールの作成」をご参照ください。Prometheus アラートルールテンプレートを作成することもできます。詳細については、「Prometheus アラートルールテンプレートの作成」をご参照ください。
-
イベントアラート設定
サポートされているのはジョブ失敗イベントのみです。メトリックアラート設定で「ジョブ失敗」ルールを選択して設定してください。その他のイベントアラートは現在サポートされていません。CloudMonitor イベントアラート設定で設定できます。
よくある質問
開発コンソールでアラート用の DingTalk チャットボットを追加する方法
開発コンソールで Webhook を作成する方法
関連ドキュメント
-
Realtime Compute for Apache Flink では、CloudMonitor (無料サービス) または ARMS Prometheus モニタリングのいずれかを選択して、ジョブのモニタリングおよびアラート機能を利用できます。機能、コストなどの詳細な比較については、「CloudMonitor と ARMS アラートサービスの機能比較」をご参照ください。
-
ARMS では、エスカレーションポリシー、スケジューリングなどの機能が設定できます。詳細については、「エスカレーションポリシー」、および「関連する実践チュートリアル」をご参照ください。
-
CloudMonitor では、DingTalk グループ、Lark グループなどを通じてアラート通知を受信できます。設定の詳細については、「アラート通知方法」をご参照ください。
-
対応している監視メトリクスの詳細については、「監視メトリクス」をご参照ください。
-
モニタリングとアラートを無効にするか、特定のメトリクスを破棄する (ARMS を使用している場合) ことで、コストを削減できます。必要に応じて、後でメトリクスを復元できます。具体的な操作については、「監視メトリクスの破棄または復元」をご参照ください。