Container Service for Kubernetes:オープンソースの Prometheus を使用して ACK クラスタを監視する

手順 1: オープンソースの Prometheus をデプロイする

1. ACK コンソール にログインします。左側のナビゲーションウィンドウで、[クラスタ] をクリックします。

2. [クラスタ] ページで、目的のクラスタを見つけて名前をクリックします。左側のナビゲーションウィンドウで、[アプリケーション] > [Helm] を選択します。

3. [Helm] ページで、[デプロイ] をクリックします。[デプロイ] パネルの [チャート] セクションで、[ack-prometheus-operator] を見つけて選択し、他のパラメータにはデフォルト値を使用し、[次へ] をクリックします。

   • チャートは、デフォルトのアプリケーション名を使用して、デフォルトで [monitoring] 名前空間にインストールされます。

   • カスタム名と名前空間を使用するには、[基本情報] ステップで [アプリケーション名] パラメータと [名前空間] パラメータを構成します。

4. [パラメータ] ウィザードページで、チャートバージョンに [12.0.0] を選択し、パラメータを構成して、[OK] をクリックします。Chart 12.0.0 はアラーム構成をサポートしています。組み込み関数を使用して、監視条件とアラーム条件を設定できます。

   ビジネス要件に基づいて、次のオプションパラメータをカスタマイズできます。

   • アラート構成: アラート通知は、DingTalk メッセージまたはメールを使用して送信できます。

   • カスタム ConfigMap を Prometheus にマウントする: ビジネス要件に基づいてカスタム ConfigMap を構成できます。

   • ダッシュボードファイルを Grafana にマウントする: カスタムダッシュボードを使用してデータの可視化を強化できます。

   デプロイ後、[Helm] ページでアプリケーションのステータスを表示できます。

ステップ 2: 表示 Prometheus コレクションタスク

1. ACK コンソール にログインします。左側のナビゲーションウィンドウで、[クラスタ] をクリックします。

2. [クラスタ] ページで、目的のクラスタを見つけて名前をクリックします。左側のウィンドウで、[ネットワーク] > [サービス] を選択します。

3. [サービス] ページで、[ack-prometheus-operator] がデプロイされている名前空間（デフォルトでは [monitoring]）を選択します。[ack-prometheus-operator-prometheus] を見つけ、[アクション] 列の [更新] をクリックします。

4. [サービスの更新] ダイアログボックスで、[サービスタイプ] を [SLB] に設定します。[リソースの作成] を選択し、[アクセス方法] を [パブリックアクセス] に設定します。[課金方法] パラメータに [従量課金制（CU 単位）] を選択し、必要に応じて他のパラメータを構成し、[OK] をクリックします。

   詳細については、クラシックロードバランサ（CLB）の課金 をご参照ください。

5. 更新が完了したら、外部 IP アドレスをコピーし、ブラウザのアドレスバーに IP アドレス: ポート番号 を入力して Prometheus にアクセスします。例: 47.XX.XX.12:9090。

6. Prometheus ページの上部ナビゲーションバーで、[ステータス] > [ターゲット] を選択して、すべてのデータ収集タスクを表示します。[UP] 状態のタスクは正しく実行されています。

   

7. アラートルールを表示するには、上部ナビゲーションバーの [アラート] をクリックします。

   

手順 3: Grafana 集計データを表示する

1. ACK コンソールにログインします。左側のナビゲーションウィンドウで、[クラスター] をクリックします。

2. [クラスタ] ページで、目的のクラスタを見つけて名前をクリックします。左側のウィンドウで、[ネットワーク] > [サービス] を選択します。

3. [サービス] ページで、[ack-prometheus-operator] デプロイメントがデプロイされている名前空間（デフォルトでは monitoring）を選択します。[ack-prometheus-operator-prometheus] を見つけ、[アクション] 列の [更新] をクリックします。

4. [サービスの更新] ダイアログボックスで、[サービスタイプ] を [SLB] に設定します。[リソースの作成] を選択し、[アクセス方法] を [パブリックアクセス] に設定します。[課金方法] パラメータに [従量課金制（CU 単位）] を選択し、必要に応じて他のパラメータを構成し、[OK] をクリックします。

   詳細については、CLB 課金 をご参照ください。

5. 更新が完了したら、外部 IP アドレスをコピーし、ブラウザのアドレスバーに IP アドレス: ポート番号 を入力して Grafana にアクセスします。デフォルトでは、ポート番号は 80 です。例: 47.XX.XX.12:80。

   

アラート構成

[prometheus-operator] を構成して、DingTalk メッセージまたはメールを使用してアラート通知を送信できます。

1. ACK コンソール にログインします。左側のナビゲーションウィンドウで、[クラスタ] をクリックします。

2. [クラスタ] ページで、目的のクラスタを見つけて名前をクリックします。左側のナビゲーションウィンドウで、[アプリケーション] > [Helm] を選択します。

3. [Helm] ページで、[デプロイ] をクリックします。[基本情報] ステップで、[チャート] セクションで [ack-prometheus-operator] を見つけて選択し、必要に応じて他のパラメータを構成し、[次へ] をクリックします。[パラメータ] ステップで、次の内容に基づいてアラートパラメータを構成します。

   ack-prometheus-operator がインストールされている場合は、[Helm] ページのリストからその名前をクリックし、[パラメータ] タブをクリックして構成します。

   • DingTalk 通知を構成する

     1. 構成ファイルで dingtalk フィールドを見つけ、enabled を true に設定します。

     2. token フィールドに DingTalk チャットボットの webhook URL を入力します。 webhook URL の取得方法の詳細については、シナリオ 3: DingTalk チャットボットで Kubernetes の監視とアラートを実装する をご参照ください。

     3. alertmanager セクションで、config フィールドの receiver パラメータを見つけ、receivers フィールドに指定した DingTalk チャットボット名を入力します。デフォルトでは、webhook が使用されます。

        複数の DingTalk チャットボットの構成例

        2 つの DingTalk チャットボットがある場合は、次の手順を実行します。

        1. token フィールドの値を置き換えます。

           webhook URL をそれぞれ dingtalk1 と dingtalk2 のアドレスに置き換えます。この例では、次の図の https://oapi.dingtalk.com/robot/send?access_token=xxxxxxxxxx URL を実際の webhook アドレスに置き換えます。

           

        2. receivers を変更します。

           alertmanager セクションで、config フィールドの receiver パラメータを見つけ、receivers フィールドに指定した DingTalk チャットボット名を入力します。この例では、webhook1 と webhook2 が使用されます。

        3. url パラメータを変更します。

           url パラメータの値を DingTalk チャットボットの名前に置き換えます。この例では、dingtalk1 と webhook2 が使用されます。

           

        説明

        DingTalk チャットボットをさらに追加するには、webhook URL を追加します。

   • メール通知を構成する

     • 次の図の赤い枠にメールアドレスの詳細を入力します。

     • 構成ファイルの alertmanager セクションで config フィールドを見つけ、receiver を見つけ、receivers フィールドで定義したメールアドレスを入力します。デフォルトでは、mail が使用されます。

       

   • アラート通知テンプレートを設定する

     次の図に示すように、alertmanager セクションの templateFiles フィールドでアラート通知テンプレートをカスタマイズできます:

カスタム ConfigMap を Prometheus にマウントする

このセクションでは、special-config という名前の ConfigMap を介して構成ファイルを Prometheus にマウントし、ポッドの起動時に --config.file パラメータを使用して渡す方法について説明します。

1. ConfigMap を作成します。

   ConfigMap の内容を表示する

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: special-config
   data:
     config.yaml: |-
       global:
         # スクレイプ間隔。デフォルト値: 1 分。
         [ scrape_interval: <duration> | default = 1m ]
         
         # スクレイプタイムアウト期間。デフォルト値: 10 秒。
         [ scrape_timeout: <duration> | default = 10s ]
         
         # ルール評価間隔。デフォルト値: 1 分。
         [ evaluation_interval: <duration> | default = 1m ]
   
       # スクレイプ構成
       scrape_configs:
       [ - <scrape_config> ... ]
   
       # ルール構成
       rule_files:
       [ - <filepath_glob> ... ]
   
       # アラート構成
       alerting:
         alert_relabel_configs:
         [ - <relabel_config> ... ]
         alertmanagers:
         [ - <alertmanager_config> ... ]

2. ConfigMap をマウントします。

   [パラメータ] ステップで、configmaps フィールドに次の内容を追加して、指定された ConfigMap を Prometheus ポッドの /etc/prometheus/configmaps/ パスにマウントします。

   

   次の図は、prometheus セクションの configmaps フィールドのサンプル構成を示しています。

   

Grafana の構成

ダッシュボード構成ファイルを Grafana にマウントする

ダッシュボードのデータ永続性を有効にする

ダッシュボードをローカルにエクスポートするには、ターゲットダッシュボードを JSON ファイルとしてローカルマシンに保存します。詳細については、ダッシュボードを JSON としてエクスポートする をご参照ください。

1. ACK コンソール にログインします。左側のナビゲーションウィンドウで、[クラスタ] をクリックします。

2. [クラスタ] ページで、目的のクラスタを見つけて名前をクリックします。左側のウィンドウで、[アプリケーション] > [Helm] を選択します。

3. ack-prometheus-operator を見つけ、[アクション] 列の [更新] をクリックし、次の図に示すように、grafana セクションの persistence フィールドを構成します。

   

関連操作

オープンソースの Prometheus コンポーネントをアンインストールする

オープンソースの Prometheus コンポーネントの Helm チャートバージョンを確認し、次の手順を実行してオープンソースの Prometheus コンポーネントをアンインストールします。これは、残留リソースと予期しない例外を防ぐのに役立ちます。関連する Helm リリース、名前空間、CustomResourceDefinitions（CRD）、および kubelet サービスを手動で削除する必要があります。

ack-prometheus-operator コンポーネントをアンインストールするときに kubelet サービスが自動的に削除されない場合は、以下のセクションを参照してください。この問題の詳細については、#1523 をご参照ください。

アラート抑制を構成する

サイレンスルールを構成することで、特定のアラートを抑制できます。アラートがルール条件に一致すると、サイレンス期間が終了するか、ルールが手動で削除されるまで、通知は保留されます。

よくある質問

DingTalk アラート通知を受信できない場合はどうすればよいですか？

1. DingTalk チャットボットの webhook URL を取得します。詳細については、イベント監視 をご参照ください。

2. パラメータウィザードページで、dingtalk セクションを見つけ、enabled を true に設定し、token フィールドに DingTalk チャットボットの webhook URL を指定します。詳細については、アラート構成 の [DingTalk アラート通知を構成する] をご参照ください。

クラスタに prometheus-operator をデプロイするときにエラーメッセージが表示される場合はどうすればよいですか？

Can't install release with errors: rpc error: code = Unknown desc = object is being deleted: customresourcedefinitions.apiextensions.k8s.io "xxxxxxxx.monitoring.coreos.com" already exists

kubectl delete crd prometheuses.monitoring.coreos.com
kubectl delete crd prometheusrules.monitoring.coreos.com
kubectl delete crd servicemonitors.monitoring.coreos.com
kubectl delete crd alertmanagers.monitoring.coreos.com

メールアラート通知を受信できない場合はどうすればよいですか？

smtp_auth_password の値が、メールアカウントのログインパスワードではなく SMTP 認証コードであることを確認してください。 SMTP サーバーエンドポイントにポート番号が含まれていることを確認してください。

更新をクリックして YAML テンプレートを更新した後、コンソールに次のエラーメッセージが表示される場合はどうすればよいですか？: 現在のクラスタは一時的に使用できません。後でもう一度試すか、チケットを送信してください

Tiller の構成ファイルが大きすぎる場合、クラスタにアクセスできません。この問題を解決するには、構成ファイルの一部の注釈を削除し、ファイルを ConfigMap としてポッドにマウントできます。 prometheus セクションと alertmanager セクションの configMaps フィールドで ConfigMap の名前を指定できます。詳細については、ConfigMap を Prometheus にマウントする の2番目の方法をご参照ください。

クラスタにデプロイした後、prometheus-operator の機能を有効にするにはどうすればよいですか？

prometheus-operator をデプロイした後、次の手順を実行して prometheus-operator の機能を有効にできます。クラスタ詳細ページに移動し、左側のナビゲーションウィンドウで [アプリケーション] > [Helm] を選択します。 Helm ページで、[ack-prometheus-operator] を見つけ、アクション列の [更新] をクリックします。リリースの更新パネルで、コードブロックを構成して機能を有効にします。次に、[OK] をクリックします。

データストレージとして TSDB またはディスクを選択するにはどうすればよいですか？

Grafana ダッシュボードにデータが正しく表示されない場合はどうすればよいですか？

クラスタ詳細ページに移動し、左側のナビゲーションウィンドウで [アプリケーション] > [Helm] を選択します。 Helm ページで、[ack-prometheus-operator] を見つけ、アクション列の [更新] をクリックします。リリースの更新パネルで、[clusterVersion] フィールドの値が正しいかどうかを確認します。クラスタの Kubernetes バージョンが 1.16 より前の場合、clusterVersion を 1.14.8-aliyun.1 に設定します。クラスタの Kubernetes バージョンが 1.16 以降の場合、clusterVersion を 1.16.6-aliyun.1 に設定します。

ack-prometheus 名前空間を削除した後に ack-prometheus をインストールできない場合はどうすればよいですか？