複数の Grafana アラートルールが同時にトリガーされると、大量のアラートによってノイズが発生し、インシデント対応が遅れる可能性があります。Application Real-Time Monitoring Service (ARMS) Information Technology Service Management (ITSM) は、Grafana や Prometheus などの他のソースからアラートを受信し、自動的に重複排除、グループ化、ノイズリダクションを行い、メール、SMS、DingTalk、Webhook などのチャンネルを通じて、適切なチームに実行可能な通知をルーティングします。
仕組み
ITSM は、4 段階のパイプラインでアラートを処理します。
-
アラートルールは、Grafana ダッシュボードの条件を評価し、しきい値を超過した場合にアラートイベントをトリガーします。
-
重複排除とノイズリダクション -- ITSM は重複するイベントをマージし、アルゴリズムによるノイズリダクションを適用して冗長な通知を抑制します。
-
通知ポリシーは、ラベルによってアラートイベントを一致させ、適切な通知ターゲットにルーティングします。
-
通知ターゲットは、メール、SMS、電話、DingTalk、Lark、WeCom、または Webhook (PagerDuty および Microsoft Teams を含む) などのチャンネルを通じてアラートを配信します。
設定プロセスは、このパイプラインに従います。アラート機能の有効化、アラートルールの作成、通知ターゲットの設定、通知ポリシーの定義、および配信の検証を行います。
前提条件
開始する前に、以下を確認してください。
-
Grafana 9.0.x 以降が稼働している Managed Service for Grafana ワークスペース
-
ARMS コンソールへのアクセス
Grafana のバージョンを確認または更新するには、「ワークスペース情報の表示または変更」をご参照ください。
ステップ 1: アラート機能の有効化
Grafana 9.0.x 以降では、アラート機能はデフォルトで有効になっています。ワークスペースでアラート機能が無効になっている場合は、手動で有効にしてください。
-
ARMS コンソールにログインします。左側のナビゲーションウィンドウで、[Managed Service For Grafana] > [ワークスペース管理] を選択します。
別の方法として、Managed Service for Grafana コンソールにログインし、左側のナビゲーションウィンドウで[ワークスペース管理]をクリックします。
-
[ワークスペース管理] ページで、管理するワークスペースの ID をクリックします。
-
左側のナビゲーションウィンドウで、[Alert Management] をクリックします。ページの左上隅にあるスイッチをオンにします。
-
確認ダイアログで、[OK] をクリックします。
-
[アラート管理] ページの右上隅で、[アラートルールの管理] をクリックして、Grafana [ITSM] ページを開きます。
ステップ 2: アラートルールの作成
ダッシュボードパネルから Grafana 管理のアラートルールを作成し、ITSM 通知ポリシーを通じてアラートをルーティングするためのカスタムラベルを追加します。
Grafana 9.0.x
-
左側のナビゲーションウィンドウで、
> [参照] を選択します。 -
[参照] タブで、アラートルールを作成するダッシュボードをクリックします。
-
ダッシュボードで、パネル名をクリックし、[編集] を選択します。
-
[パネルの編集] ページで、[アラート] タブをクリックし、その後 [このパネルからアラートルールを作成] をクリックします。
説明別の方法として、左側のナビゲーションウィンドウで
をクリックし、[アラート概要] ページで [アラートルールの作成] をクリックします。 -
アラートルールのパラメーターを設定します。パラメーターの詳細については、Grafana ドキュメントをご参照ください。
[通知] セクションで、カスタムラベルをキーと値のペアとして追加します。例:
grafana_alertname=Pod disk usage _hangzhou。これらのラベルは、「手順 4」の通知ポリシーと一致します。
-
右上隅の[保存]をクリックします。
Grafana 10.0.x
-
Grafana の左上隅で、
> [ダッシュボード] を選択します。 -
[ダッシュボード] ページで、アラートルールを作成するダッシュボードを選択します。
-
ダッシュボードで、パネルの右上隅にあるアイコンをクリックし、[編集] をクリックします。
-
[パネルの編集] ページで、[アラート] タブをクリックし、次に [このパネルからアラートルールを作成] をクリックします。
説明別の方法として、左側のナビゲーションウィンドウで
> [ITSM] を選択します。[アラート概要] ページで、[アラートルールの作成] をクリックします。 -
アラートルールのパラメーターを設定します。パラメーターの詳細については、Grafana ドキュメントをご参照ください。
[通知] セクションで、カスタムラベルをキーと値のペアとして追加します。 例:
grafana_alertname=Pod disk usage _hangzhou。 これらのラベルは、ステップ 4 の通知ポリシーと一致します。
-
右上隅の[ルールを保存]をクリックします。
アラート配信の検証
アラートが発火すると、イベントは ARMS コンソールの [アラート イベント履歴] ページに表示されます。詳細については、「過去のアラート イベントを表示する」をご参照ください。
「[アラートイベント履歴]」ページで、[統合名]フィルターを ARMS_GRAFANA に設定すると、Grafana アラートルールから発生したイベントのみが表示されます。
ステップ 3: 通知ターゲットの作成
ITSM がアラート通知を配信するチャンネルを設定します。
| 通知ターゲットタイプ | ユースケース |
|---|---|
| 連絡先と連絡先グループ | 個人またはグループへのメール、電話、または SMS 通知 |
| DingTalk、Lark、および WeCom | 共同アラート処理のためのチームグループチャット通知 |
| Webhook | PagerDuty、Microsoft Teams Incoming Webhook、または内部プラットフォームなどのサードパーティ統合 |
| オンコールスケジューリング | チームメンバー間のオンコール割り当てのローテーション |
Grafana 9.0.x
左側のナビゲーションウィンドウで、
> [通知オブジェクト] を選択し、通知ターゲットを作成します。
Grafana 10.0.x
Grafana の左上隅で
をクリックし、[ITSM] > [通知オブジェクト] を選択して、通知ターゲットを作成します。
設定手順については、「通知ターゲット」をご参照ください。
ステップ 4: 通知ポリシーの作成
通知ポリシーは、マッチングルールに基づいてアラートイベントを通知ターゲットにルーティングします。各ポリシーは、アラートイベントにアタッチされたラベルのキーと値のペアによってアラートを一致させ、一致するアラートを指定された通知ターゲットに転送します。
Grafana 9.0.x
-
左側のナビゲーションウィンドウで、
> [通知ポリシー] を選択し、[通知ポリシーの作成] をクリックします。 -
[通知ポリシーの作成]ページの左上隅に、通知ポリシー名を入力します。
-
[マッチングルール] ステップで、アラートイベントのマッチングルールを設定します。
-
[データソース] を [Grafana] に設定します。
-
[条件の追加] をクリックし、ステップ 2 のラベルキーと値を入力します。 例:
grafana_alertname equals Pod disk usage_hangzhou。説明次の図に示すように、条件 2 は Grafana アラートルールをフィルターします。条件 3 を追加しない場合、現在の Grafana ワークスペース内のすべてのアラートルールがこの通知ポリシーを使用します。

-
[次へ] をクリックします。
-
-
残りのパラメーターを設定し、[保存] をクリックします。詳細については、「通知ポリシーの作成と管理」をご参照ください。
Grafana 10.0.x
-
Grafana の左上隅で、
をクリックし、[ITSM] > [通知ポリシー] を選択してから、[通知ポリシーの作成] をクリックします。 -
「通知ポリシーの作成」ページの左上隅に、通知ポリシー名を入力してください。
-
「[マッチングルール]」ステップで、アラートイベントのマッチングルールを設定します。
-
[データソース] を [Grafana] に設定します。
-
[条件の追加] をクリックし、ステップ 2 のラベルキーと値を入力します。 例:
grafana_alertname equals Pod disk usage_hangzhou。説明次の図に示すように、条件 2 は Grafana アラートルールをフィルターします。条件 3 を追加しない場合、現在の Grafana ワークスペース内のすべてのアラートルールがこの通知ポリシーを使用します。

-
[次へ] をクリックします。
-
-
残りのパラメーターを設定し、[保存] をクリックします。詳細については、「通知ポリシーの作成と管理」をご参照ください。
ステップ 5: アラート通知の検証
通知ポリシーがトリガーされると、ITSM は一致する通知ターゲットで指定されたチャンネルを通じてアラート通知を配信します。設定したチャンネル (メール受信トレイ、グループチャット、Webhook エンドポイント) を確認して、配信を検証してください。
関連情報
-
ITSM 概要 -- ITSM の機能とサポートされている通知方法の全リスト
-
履歴アラートイベントの表示 -- 過去のアラートイベントのクエリとフィルター
-
通知ターゲット -- 連絡先、グループチャット、Webhook、およびオンコールスケジュールの設定
-
通知ポリシーの作成と管理 -- 高度な通知ポリシーの構成とルーティング