Container Service for Kubernetes:可観測性のよくある質問

症状

「ACK クラスターのコンテナログの収集」の手順に従っても、Simple Log Service コンソールの [プレビュー] ページでログが見つからない場合、ログ収集に失敗した可能性があります。この問題をトラブルシューティングするには、構成、収集コンポーネントとノードのステータス、およびログ収集コンテナの運用ログを確認してください。

事前準備

コンテナファイルからログを収集する際は、次の点にご注意ください。

• ログ収集コンポーネントは増分ログのみを収集します。Logtail 構成が適用された後にログファイルが更新されない場合、コンポーネントはそのファイルからログを収集しません。詳細については、「ログの読み取り」をご参照ください。

• デフォルトのコンテナストレージを使用するファイル、またはローカルパスにマウントされたファイルからのみログを収集できます。他のストレージ方法はサポートされていません。

• ログが収集された後、Logstore でログをクエリおよび分析する前に、インデックスを作成する必要があります。詳細については、「インデックスの作成」をご参照ください。

ステップ 1：収集設定の確認

Logtail 構成が正しいことを確認します。すべてのログ収集設定が正確であり、コンテナが継続的にログを生成していることを確認してください。

apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig
metadata:
  # リソース名を設定します。現在の Kubernetes クラスター内で一意である必要があります。この名前は、作成された収集設定にも使用されます。名前が重複している場合、設定は有効になりません。
  name: example-k8s-file
spec:
  # 送信先プロジェクトを指定します。
  project:
    name: k8s-log-<YOUR_CLUSTER_ID>
  logstores:
    # k8s-file という名前の Logstore を作成します。
    - name: k8s-file
  # 収集設定を定義します。
  config:
    # ログサンプル (オプション)。
    sample: |
      2024-06-19 16:35:00 INFO test log
      line-1
      line-2
      end
    # 入力プラグインを定義します。
    inputs:
      # input_file プラグインを使用して、コンテナから複数行のテキストログを収集します。
      - Type: input_file
        # コンテナ内のファイルパス。
        FilePaths:
          - /data/logs/app_1/**/test.LOG
        # コンテナ検出機能を有効にします。
        EnableContainerDiscovery: true
        # コンテナ情報のフィルター条件を追加します。複数のオプション間の関係は「AND」です。
        CollectingContainersMeta: true
        ContainerFilters:
          # 収集対象のコンテナが配置されている Pod の名前空間を指定します。正規表現によるマッチングがサポートされています。
          K8sNamespaceRegex: default
          # 収集対象のコンテナの名前を指定します。正規表現によるマッチングがサポートされています。
          IncludeK8sLabel:
            app: ^(.*app.*)$
        # 複数行のログ収集を有効にします。単一行のログ収集の場合は、この設定を削除します。
        Multiline:
          # カスタム開始パターンモードを選択します。
          Mode: custom
          # 開始パターンの正規表現を設定します。
          StartPattern: '\d+-\d+-\d+\s\d+:\d+:\d+'
    # 処理プラグインを定義します。
    processors:
      # regex 解析プラグインを使用してログを解析します。
      - Type: processor_parse_regex_native
        # ソースフィールド名。
        SourceKey: content
        # 解析用の正規表現。キャプチャグループ「()」を使用して、抽出するフィールドをキャプチャします。
        Regex: (\d+-\d+-\d+\s\S+)(.*)
        # 抽出されたフィールドのリスト。
        Keys: ["time", "detail"]
    # 出力プラグインを定義します。
    flushers:
      # flusher_sls プラグインを使用して、指定された Logstore に出力します。
      - Type: flusher_sls
        # この Logstore が存在することを確認します。
        Logstore: k8s-file
        # エンドポイントが正しいことを確認します。
        Endpoint: cn-beijing.log.aliyuncs.com
        Region: cn-beijing
        TelemetryType: logs

ステップ 2：収集コンポーネントとマシングループのステータスの確認

Logtail や LoongCollector などの収集コンポーネントが各ワーカーノードにデプロイされ、実行中であること、および収集コンテナからの [OK] のハートビート数がワーカーノードの数と一致していることを確認します。

1. 収集コンポーネント Pod のステータスを確認します。

   1. クラスターへの接続。

   2. 次のコマンドを実行して、関連するすべての収集 Pod が Running 状態にあるかどうかを確認します。Pod が異常な状態にある場合は、「Pod の例外のトラブルシューティング」をご参照ください。

      kubectl get pods -n kube-system -l 'k8s-app in (loongcollector-ds,logtail)' 

      出力は次のようになります。

      NAME                      READY   STATUS    RESTARTS   AGE
      loongcollector-ds-fn5zn   1/1     Running   0          3d19h
      loongcollector-ds-ks76g   1/1     Running   0          3d19h

2. マシングループのハートビートステータスを確認します。

   1. Simple Log Service コンソールにログインします。

   2. [プロジェクト] セクションで、目的のプロジェクトをクリックします。

      

   3. 左側のナビゲーションウィンドウで、リソース > マシングループ を選択します。

   4. マシングループのリストで、目的のマシングループをクリックします。

   5. [マシングループ設定] ページで、ハートビートステータスが [OK] のマシンの数を確認します。この数がクラスター内のワーカーノードの数と一致することを確認します。 詳細については、「ハートビートステータスのソリューション」をご参照ください。

ステップ 3：LoongCollector (Logtail) の運用ログの表示

収集コンテナで収集エラーやエラーメッセージを確認し、問題の原因をさらに分析します。

1. 収集コンポーネント Pod に入ります。

   kubectl exec -it -n kube-system loongcollector-ds-XXXX  -- bash

2. Logtail のログは、Logtail コンテナの /usr/local/ilogtail/ ディレクトリに保存されます。ファイル名は ilogtail.LOG と logtail_plugin.LOG です。Logtail コンテナにログインし、次のコマンドを実行してログファイルを表示できます。

   # /usr/local/ilogtail/ ディレクトリを開きます。
   cd /usr/local/ilogtail
   
   # ilogtail.LOG と logtail_plugin.LOG ファイルを表示します。
   cat ilogtail.LOG
   cat logtail_plugin.LOG

3. エラーログのアラートメトリックを表示し、「Simple Log Service でのデータ収集における一般的なエラータイプ」で対応するソリューションを見つけます。

その他の O&M 操作

• Kubernetes クラスター内の Simple Log Service コンポーネントのステータス表示

  Kubernetes コンポーネントのステータス確認

  次のコマンドを実行して、Simple Log Service デプロイメントのステータスと情報を表示します。

  kubectl get deploy -n kube-system | grep -E 'alibaba-log-controller|loongcollector-operator'

  次の出力が返されます。

  NAME                     READY   UP-TO-DATE   AVAILABLE   AGE
  alibaba-log-controller   1/1     1            1           11d

  次のコマンドを実行して、DaemonSet リソースのステータス情報を表示します。

  kubectl get ds  -n kube-system | grep -E 'logtail-ds|loongcollector-ds'

  次の出力が返されます。

  NAME         DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR  AGE
  logtail-ds   2         2         2       2            2           **ux           11d

• Logtail のバージョン番号、IP アドレス、起動時間の表示

  この情報は、Logtail コンテナの /usr/local/ilogtail/app_info.json ファイルに保存されています。

  kubectl exec logtail-ds-****k -n kube-system cat /usr/local/ilogtail/app_info.json

  出力は次のようになります。

  {
     "UUID" : "",
     "hostname" : "logtail-****k",
     "instance_id" : "0EB****_172.20.4.2_1517810940",
     "ip" : "172.20.4.2",
     "logtail_version" : "0.16.2",
     "os" : "Linux; 3.10.0-693.2.2.el7.x86_64; #1 SMP Tue Sep 12 22:26:13 UTC 2017; x86_64",
     "update_time" : "2018-02-05 06:09:01"
  }

• ACK クラスターのログを別の Alibaba Cloud アカウントのプロジェクトに転送する

症状

このトピックでは、プロジェクトを削除する方法と、「権限が不十分です」というエラーメッセージが表示されてプロジェクトを削除できない場合の対処法について説明します。

ソリューション

プロジェクトまたは Logstore を削除する方法の詳細については、「プロジェクトの管理」および「Logstore の管理」をご参照ください。プロジェクトの削除に失敗した場合は、「プロジェクトの削除時に「操作が拒否されました、権限が不十分です」というエラーメッセージが返された場合の対処法」をご参照ください。

原因

1. アプリケーション監視が一時停止しています。

2. アプリケーションが常駐する Pod に ARMS エージェントが期待どおりにロードされていません。

ソリューション

1. アプリケーション監視が一時停止しているかどうかを確認します。

   1. ARMS コンソールにログインします。左側のナビゲーションウィンドウで、アプリケーションモニタリング > アプリケーションリスト を選択します。

   2. [アプリケーションリスト] ページで、上部でリージョンを選択し、アプリケーションの名前をクリックします。

      アプリケーションが見つからない場合は、ステップ 2 に進みます。

   3. 新しいコンソールの場合：上部のナビゲーションバーで、アプリケーション設定 > カスタム設定 を選択します。[プローブスイッチ設定] セクションで、[アプリケーション監視を一時停止] スイッチの状態を確認します。

      • [アプリケーション監視を一時停止] スイッチがオンの場合は、オフにして [保存] をクリックします。

      • [アプリケーション監視を一時停止] スイッチがオフの場合は、ステップ 2 に進みます。

   4. 古いコンソールの場合：左側のナビゲーションウィンドウで [アプリケーション設定] をクリックし、[カスタム設定] タブをクリックします。[エージェントスイッチ設定] セクションで、[エージェントマスタースイッチ] がオンになっているかどうかを確認します。

      • [エージェントマスタースイッチ] がオフの場合は、オンにしてページ下部の [保存] をクリックします。

      • [エージェントマスタースイッチ] がオンの場合は、ステップ 2 に進みます。

2. プローブが正しくロードされているかどうかを確認します。

   1. ACK コンソールにログインします。左側のナビゲーションウィンドウで [クラスター] をクリックします。[クラスター] ページで、クラスターの名前をクリックしてクラスター詳細ページに移動します。

   2. 左側のナビゲーションウィンドウで、ワークロード > Pod を選択します。

   3. [Pods] ページで、お使いのアプリケーションの名前空間を選択します。対象の Pod を見つけ、[操作] 列の [YAML の編集] をクリックします。

   4. [YAML の編集] ダイアログボックスで、YAML ファイルに initContainers が含まれているかどうかを確認します。

      state:
                running:
                  startedAt: '2023-01-13T08:50:46Z'
        hostIP: xxx.xxx.xx.196
        initContainerStatuses:
          - containerID: >-
              containerd://5d6cff441916ea146f6c9568e86e749817a64f212405349b5edc580991fb3195
            image: >-
              registry-vpc.cn-hangzhou.aliyuncs.com/ack-onepilot/ack-onepilot-init:3.0.6
            imageID: >-
              registry-vpc.cn-hangzhou.aliyuncs.com/ack-onepilot/ack-onepilot-init@sha256:93fe036b4c3dda4d4db3bc90de1e00972199a371ada31d1818b3395ecae8a145
            lastState: {}
            name: one-pilot-initcontainer
            ready: true
            restartCount: 0
            state:
              terminated:
                containerID: >-
                  containerd://5d6cff441916ea146f6c9568e86e749817a64f212405349b5edc580991fb3195
                exitCode: 0
                finishedAt: '2023-01-13T08:50:45Z'
                reason: Completed
                startedAt: '2023-01-13T08:50:31Z'
        phase: Running
        podIP: xxx.xxx.xx.241
        podIPs:
          - ip: xxx.xxx.xx.241
        qosClass: Guaranteed
        startTime: '2023-01-13T08:50:30Z'

      • 存在しない場合、one-pilot-initcontainer はインジェクトされていません。ステップ 5 に進みます。

      • 存在する場合、one-pilot-initcontainer はインジェクトされています。ステップ 8 に進みます。

   5. [ワークロード] > [Pod] ページで、ack-onepilot 名前空間を選択します。ack-onepilot というプレフィックスを持つ Pod が存在し、すべての ack-onepilot Pod がローリングアップデートを完了していることを確認します。

      • プレフィックスを持つ Pod が存在する場合は、ステップ 6 に進みます。

      • プレフィックスを持つ Pod が存在しない場合は、アプリケーションマーケットプレイスから ack-onepilot をインストールします。手順については、「arms-pilot をアンインストールして ack-onepilot をインストールする方法」をご参照ください。

   6. [ワークロード] ページで、[デプロイメント] または [StatefulSet] ページに移動します。アプリケーションを見つけ、[操作] 列で > [YAML の編集] を選択します。[YAML の編集] ダイアログボックスで、spec.template.metadata の下に次のラベルがあるかどうかを確認します。

      labels:
        armsPilotAutoEnable: "on"
        armsPilotCreateAppName: "<your-deployment-name>"    # <your-deployment-name> を実際のアプリケーション名に置き換えます。
        armsSecAutoEnable: "on"    # アプリケーションをアプリケーションセキュリティに接続する場合は、このパラメーターを設定する必要があります。

      • ラベルが存在する場合は、ステップ 7 に進みます。

      • ラベルが存在しない場合は、[YAML の編集] ダイアログボックスの spec.template.metadata パスにラベルを追加し、[更新] をクリックします。

   7. [ワークロード] > [Pod] ページで、ack-onepilot 名前空間を選択します。ack-onepilot プレフィックスを持つ Pod を見つけ、[操作] 列で [その他] > [ログ] を選択します。ログに STS エラー ("Message":"STS error" というメッセージで示される) がないか確認します。

      • STS エラーが報告された場合は、アプリケーションのクラスターを承認し、アプリケーション Pod を再起動します。手順については、「Container Service for Kubernetes の承認」をご参照ください。

      • STS エラーが報告されない場合は、チケットを送信してください。

   8. [ワークロード] > [Pod] ページで、ターゲット Pod を見つけ、[操作] 列の [YAML の編集] をクリックします。[YAML の編集] ダイアログボックスで、YAML ファイルに次の javaagent パラメーターが含まれているかどうかを確認します。

      -javaagent:/home/admin/.opt/ArmsAgent/aliyun-java-agent.jar

      説明

      2.7.3.5 より前のエージェントバージョンを使用している場合は、aliyun-java-agent.jar を arms-bootstrap-1.7.0-SNAPSHOT.jar に置き換えてください。エージェントを最新バージョンにアップグレードすることを推奨します。

      • 利用可能な場合は、[Pod] ページで、右側にある [ターミナル] をクリックして [コマンドライン] ページを開き、次のコマンドを実行して .log ファイルを確認し、その後 チケットを送信します。

        cd /home/admin/.opt/ArmsAgent/logs

      • パラメーターが存在しない場合は、して、チケットを送信してください。

症状

ターゲットクラスターに ARMS アドオントークンが存在しません。

1. ACK コンソールにログインします。左側のナビゲーションウィンドウで [クラスター] をクリックします。[クラスター] ページで、クラスターの名前をクリックしてクラスター詳細ページに移動します。

2. 左側のナビゲーションウィンドウで、[設定] > [シークレット] を選択します。

3. ページ上部で、[名前空間] ドロップダウンリストから kube-system を選択し、addon.arms.token が有効になっているかどうかを確認します。

   

ソリューション

Container Service for Kubernetes に ARMS リソースへのアクセス権限を付与します。

現象

• アプリケーションの名前空間を変更した後、カスタムダッシュボードの名前空間列に表示される値が更新されません。

  

• アプリケーションのクラスターを変更した後、レート、エラー、持続時間 (RED) メトリクスのデータは正常に表示されますが、CPU やメモリなどのコンテナ監視メトリクスのデータは表示されません。

考えられる原因

ソリューション

• アプリケーションを削除し、アプリケーションを再作成してから、モニタリングデータを再度レポートします。詳細については、「アプリケーションの削除」をご参照ください。

  この方法では、既存データが失われます。

• チケットを送信してください。

背景情報

通常、ack-onepilot アドオンは、環境変数 JAVA_TOOL_OPTIONS をインジェクトすることで、Java 用の Application Real-Time Monitoring Service (ARMS) エージェントのマウントパスを指定します。ただし、次のようなシナリオでは、このパスをカスタマイズする必要がある場合があります。

• 構成管理の一元化

  Kubernetes ConfigMap を介してマウントパスを管理し、環境の一貫性を確保します。

• 永続ストレージ

  企業のセキュリティまたは O&M 要件を満たすために、エージェントファイルをカスタムの永続ボリューム要求 (PVC) に保存します。

ソリューション

Java 用の ARMS エージェントのマウントパスをカスタマイズするには、次のバージョン要件を満たす必要があります。

• ack-onepilot：V4.1.0 以降。

• Java エージェントのリリースノート：V4.2.2 以降。ARMS エージェントのバージョンを制御できます。

1. カスタムマウントパスが必要なデプロイメントなどの Kubernetes ワークロードに disableJavaToolOptionsInjection アノテーションを追加します。

   ack-onepilot アドオンは、環境変数 JAVA_TOOL_OPTIONS を使用してマウントパスやその他の Java 仮想マシン (JVM) パラメーターを自動的に設定しません。

   1. デプロイメントの YAML ファイルを表示するには、次のコマンドを実行します。

      kubectl get deployment {Deployment name} -o yaml

      説明

      デプロイメント名がわからない場合は、次のコマンドを実行してすべてのデプロイメントを一覧表示します。

      kubectl get deployments --all-namespace

      次に、結果から目的のデプロイメントを見つけ、その YAML ファイルを表示します。

   2. 次のコマンドを実行して YAML ファイルを編集します。

      kubectl edit deployment {Deployment name} -o yaml

   3. YAML ファイルで、spec.template.metadata に次のラベルを追加します。

      labels:
        armsPilotAutoEnable: "on"
        armsPilotCreateAppName: "<your-deployment-name>"    # ご利用のデプロイメントの名前。
        disableJavaToolOptionsInjection: "true" # Java 用 ARMS エージェントのマウントパスをカスタマイズする場合は、このパラメーターを true に設定します。

2. Java 起動スクリプトまたはコマンドのデフォルトのマウントパス /home/admin/.opt/AliyunJavaAgent/aliyun-java-agent.jar をカスタムパスに置き換えます。

   java -javaagent:/home/admin/.opt/AliyunJavaAgent/aliyun-java-agent.jar ... ... -jar xxx.jar

   レポートリージョンやライセンスキーなどのその他の情報は、ack-onepilot によって環境変数を介して提供されます。

現象

リージョン A からリージョン B にデータをレポートする方法は？

ソリューション

1. ack-onepilot アドオンを V4.0.0 以降に更新します。

2. ack-onepilot 名前空間の ack-onepilot-ack-onepilot アプリケーションに ARMS_REPORT_REGION 環境変数を追加します。値は、ARMS が利用可能なリージョンの ID である必要があります。例：cn-hangzhou または cn-beijing。

3. 既存のアプリケーションを再起動するか、新しいアプリケーションをデプロイして、リージョンをまたいでデータをレポートします。

   説明

   環境変数を追加すると、クラスターにデプロイされているすべてのアプリケーションが、前のステップで指定したリージョンにデータをレポートします。

背景情報

レガシーのアプリケーション監視コンポーネント arms-pilot はメンテナンスされなくなりました。アップグレードされた ack-onepilot コンポーネントをインストールして、アプリケーションを監視できます。ack-onepilot は arms-pilot と完全に互換性があり、アプリケーション構成を変更することなくシームレスな移行が可能です。このトピックでは、arms-pilot をアンインストールして ack-onepilot をインストールする方法について説明します。

ソリューション

症状

Prometheus モニタリングを有効にした後、操作 > Prometheus 監視 ページに [関連するモニタリングダッシュボードが見つかりません] というプロンプトが表示される場合は、次の手順に従って問題を解決してください。

ソリューション

1. Prometheus モニタリングアドオンを再インストールします。

   1. Prometheus モニタリングを無効にする。

   2. コンポーネントを再インストールします。

      1. コンポーネントがアンインストールされたことを確認した後、インストール をクリックします。確認ダイアログボックスで、OK をクリックします。

      2. インストールが完了したら、Prometheus モニタリングページに戻り、問題が解決したかどうかを確認します。

         問題が解決しない場合は、次の手順に進みます。

2. Prometheus インスタンスの統合を確認します。

   1. ARMS コンソールの左側のナビゲーションウィンドウで、アクセス管理 をクリックします。

   2. [連携] タブで、[コンテナサービス] リストに、お客様のクラスターと同じ名前のコンテナ環境があるか確認します。

      • そのようなコンテナ環境が存在しない場合は、「ARMS または Prometheus コンソールでサービスを統合する」をご参照ください。

      • そのようなコンテナ環境が存在する場合は、ターゲットコンテナ環境の 操作 列の [設定] をクリックして、[設定] ページに移動します。

        インストールされているエージェントが期待どおりに実行されているかどうかを確認します。

原因

Managed Service for Prometheus でデータが表示されないのは、Alibaba Cloud Prometheus サービスとの同期タスクが失敗し、リソース登録に失敗したか、Prometheus インスタンスが正しくプロビジョニングされなかったことが原因である可能性があります。以下のプロセスに従って問題を確認し、解決してください。

ソリューション

1. Managed Service for Prometheus のプロビジョニングタスクのステータスを確認します。

   1. ACK コンソールにログインします。左側のナビゲーションウィンドウで、クラスターリスト をクリックします。

   2. クラスターリスト ページで、対象クラスターの名前をクリックします。左側のナビゲーションウィンドウで、ワークロード > ジョブ をクリックします。

   3. [ジョブ] ページで、ページ上部の [名前空間] を arms-prom に設定し、o11y-init-environment をクリックしてジョブが成功したことを確認します。

      成功しない場合は、Alibaba Cloud Prometheus サービスとの同期およびリソースの登録に失敗した可能性があります。Pod のログを表示して、失敗の具体的な原因を特定できます。詳細については、「Pod の例外のトラブルシューティング」をご参照ください。

      Pod が存在しなくなった場合は、次の手順に進みます。

2. Prometheus モニタリングアドオンを再インストールします。

   1. Prometheus モニタリングを無効にする。

   2. コンポーネントを再インストールします。

      1. コンポーネントがアンインストールされたことを確認した後、インストール をクリックします。確認ダイアログボックスで、OK をクリックします。

      2. インストールが完了したら、Prometheus モニタリングページに戻り、問題が解決したかどうかを確認します。

         問題が解決しない場合は、次の手順に進みます。

3. Prometheus インスタンスのプロビジョニングを確認します。

   1. ARMS コンソールの左側のナビゲーションウィンドウで、アクセス管理 をクリックします。

   2. [統合] タブで、[Container Service] リストにクラスターと同じ名前のコンテナ環境があるかどうかを確認します。

      • そのようなコンテナ環境が存在しない場合は、「ARMS または Prometheus コンソールでサービスを統合する」をご参照ください。

      • そのようなコンテナ環境が存在する場合は、ターゲットコンテナ環境の 操作 列の [設定] をクリックして、[設定] ページに移動します。

        インストールされているエージェントが期待どおりに実行されているかどうかを確認します。

症状

Prometheus エージェントをアンインストールして再インストールすると、次のエラーメッセージが表示されます。

rendered manifests contain a resource that already exists. Unable to continue with install: existing resource conflict: kind: ClusterRole, namespace: , name: arms-pilot-prom-k8s

rendered manifests contain a resource that already exists. Unable to continue with install: existing resource conflict: kind: ClusterRole, namespace: , name: arms-pilot-prom-k8s

原因

ソリューション

1. 次のコマンドを実行して、Prometheus エージェントの ClusterRole を見つけます。

   kubectl get ClusterRoles --all-namespaces | grep prom

2. 次のコマンドを実行して、前のステップでクエリされた ClusterRole を削除します。

    kubectl delete ClusterRole [$Cluster_Roles] -n arms-prom

   説明

   [$Cluster_Roles] パラメーターは、前のステップでクエリされた ClusterRole を指定します。

3. ClusterRole を削除しても問題が解決しない場合は、エラーメッセージの kind の値を確認して、ClusterRole 以外のリソースが存在するかどうかを確認します。上記の手順を実行して、それらを順番に削除します。

背景情報

クラスターにデプロイされている ack-arms-prometheus アドオンのバージョンと、更新が必要かどうかを確認する必要があります。

ソリューション

原因

ソリューション

背景情報

ソリューション

原因

ack-arms-prometheus アドオンをデプロイすると、「xxx in use」エラーが報告されます。これは、リソースが占有されているか、残存リソースが原因で、アドオンのインストールに失敗した可能性があります。

ソリューション

1. [クラスター] ページで、ターゲットクラスターの名前をクリックします。左側のナビゲーションウィンドウで、アプリケーション > Helm を選択します。

2. Helm ページで、ack-arms-prometheus が存在するかどうかを確認します。

   • 存在する場合は、Helm ページから ack-arms-prometheus を削除し、アドオン管理 ページで再インストールします。ack-arms-prometheus のインストール方法の詳細については、「コンポーネントの管理」をご参照ください。

   • 存在しない場合：

     1. ack-arms-prometheus Helm リリースに残存リソースがある可能性があります。ARMS Prometheus を手動で完全にアンインストールする。

     2. Prometheus モニタリングを再度有効にする。

症状

ack-arms-prometheus アドオンをインストールしようとすると、最初に「コンポーネントがインストールされていません」というメッセージが表示され、2 回目の試行でもインストールに失敗します。

ソリューション

• ack-arms-prometheus アドオンがインストールされているかどうかを確認します。

  1. [クラスター] ページで、ターゲットクラスターの名前をクリックします。左側のナビゲーションウィンドウで、アプリケーション > Helm を選択します。

  2. Helm ページで、ack-arms-prometheus が存在するかどうかを確認します。

     • 存在する場合は、Helm ページから ack-arms-prometheus を削除し、アドオン管理 ページで再インストールします。ack-arms-prometheus のインストール方法の詳細については、「コンポーネントの管理」をご参照ください。

     • 存在しない場合：

       1. ack-arms-prometheus Helm リリースに残存リソースがある可能性があります。ARMS Prometheus を手動で完全にアンインストールする。

       2. Prometheus モニタリングを再度有効にする。

• ack-arms-prometheus のログでエラーを確認します。

  1. クラスター詳細ページの左側のナビゲーションウィンドウで、ワークロード > デプロイメント を選択します。

  2. デプロイメント ページの上部で、名前空間 を arms-prom に設定し、arms-prometheus-ack-arms-prometheus をクリックします。

  3. ログ タブをクリックして、ログにエラーがないか確認します。

• エージェントのインストール中にエラーが発生したかどうかを確認します。

  1. ARMS コンソールにログインします。左側のナビゲーションウィンドウで、アクセス管理 をクリックします。

  2. [統合] タブで、[Container Service] リストを確認します。ターゲットコンテナ環境の 操作 列で、[設定] をクリックして [設定] ページに移動します。

現象

オープンソース Prometheus をデプロイした後、DingTalk を使用してアラート通知を送信するように設定する必要があります。

ソリューション

1. DingTalk チャットボットの Webhook URL を取得します。「イベント監視」をご参照ください。

2. dingtalk フィールドを見つけ、enabled を true に設定し、Token フィールドに DingTalk の Webhook URL を入力します。「アラート設定」の [DingTalk アラートの設定] をご参照ください。

症状

Can't install release with errors: rpc error: code = Unknown desc = object is being deleted: customresourcedefinitions.apiextensions.k8s.io "xxxxxxxx.monitoring.coreos.com" already exists

ソリューション

kubectl delete crd prometheuses.monitoring.coreos.com
kubectl delete crd prometheusrules.monitoring.coreos.com
kubectl delete crd servicemonitors.monitoring.coreos.com
kubectl delete crd alertmanagers.monitoring.coreos.com

症状

オープンソース Prometheus をデプロイした後、設定したメールアラートがアラート通知を送信しません。

ソリューション

認証コードの代わりにログインパスワードを smtp_auth_password に入力すると、メールアラートが失敗する可能性があります。SMTP サーバーアドレスにはポート番号を含める必要があります。

症状

オープンソース Prometheus をデプロイした後、[YAML の更新] をクリックすると、「現在のクラスターは一時的にアクセスできません。後でもう一度試すか、フィードバックのためにチケットを送信してください」というエラーメッセージが表示されます。

ソリューション

これは、Tiller 設定ファイルが大きすぎてクラスターにアクセスできなくなる場合に発生します。コメントを削除してファイルサイズを小さくし、ConfigMap としてマウントします。prometheus-operator は、prometheus および alertmanager Pod の ConfigMap マウントのみをサポートします。「カスタム ConfigMap を Prometheus にマウントする」をご参照ください。

症状

オープンソース Prometheus をデプロイした後、その機能を有効にするためにさらに設定を行う必要がある場合があります。

ソリューション

prometheus-operator をデプロイした後に機能を有効にします。クラスター詳細ページで、アプリケーション > Helm を選択します。ack-prometheus-operator を見つけ、[操作] 列の 更新 をクリックします。有効にする機能を見つけて設定し、OK をクリックします。

現象

ストレージソリューションを選択する際、TSDB と Alibaba Cloud ディスクのどちらを選択し、データ保持ポリシーをどのように設定すればよいですか？

ソリューション

## メトリクスを保持する期間
##
retention: 10d

現象

オープンソース Prometheus をデプロイした後、Grafana ダッシュボードが正しく表示されません。

ソリューション

クラスター詳細ページで、アプリケーション > Helm を選択します。ack-prometheus-operator を見つけ、[操作] 列の 更新 をクリックします。clusterVersion がクラスターのバージョンと一致していることを確認します。v1.16 より前のクラスターの場合は 1.14.8-aliyun.1 を入力します。v1.16 以降の場合は 1.16.6-aliyun.1 を入力します。

原因

名前空間のみを削除すると、残存構成が残る可能性があります。次のリソースをクリーンアップします。

ソリューション

1. RBAC 権限を削除します。

   1. ClusterRole を削除します。

      kubectl delete ClusterRole ack-prometheus-operator-grafana-clusterrole
      kubectl delete ClusterRole ack-prometheus-operator-kube-state-metrics
      kubectl delete ClusterRole psp-ack-prometheus-operator-kube-state-metrics
      kubectl delete ClusterRole psp-ack-prometheus-operator-prometheus-node-exporter
      kubectl delete ClusterRole ack-prometheus-operator-operator
      kubectl delete ClusterRole ack-prometheus-operator-operator-psp
      kubectl delete ClusterRole ack-prometheus-operator-prometheus
      kubectl delete ClusterRole ack-prometheus-operator-prometheus-psp

   2. ClusterRoleBinding を削除します。

      kubectl delete ClusterRoleBinding ack-prometheus-operator-grafana-clusterrolebinding
      kubectl delete ClusterRoleBinding ack-prometheus-operator-kube-state-metrics
      kubectl delete ClusterRoleBinding psp-ack-prometheus-operator-kube-state-metrics
      kubectl delete ClusterRoleBinding psp-ack-prometheus-operator-prometheus-node-exporter
      kubectl delete ClusterRoleBinding ack-prometheus-operator-operator
      kubectl delete ClusterRoleBinding ack-prometheus-operator-operator-psp
      kubectl delete ClusterRoleBinding ack-prometheus-operator-prometheus
      kubectl delete ClusterRoleBinding ack-prometheus-operator-prometheus-psp

2. CRD を削除します。

   kubectl delete crd alertmanagerconfigs.monitoring.coreos.com
   kubectl delete crd alertmanagers.monitoring.coreos.com
   kubectl delete crd podmonitors.monitoring.coreos.com
   kubectl delete crd probes.monitoring.coreos.com
   kubectl delete crd prometheuses.monitoring.coreos.com
   kubectl delete crd prometheusrules.monitoring.coreos.com
   kubectl delete crd servicemonitors.monitoring.coreos.com
   kubectl delete crd thanosrulers.monitoring.coreos.com

症状

アラートセンターで、アラートルールの同期ステータスに The Project does not exist : k8s-log-xxx というメッセージが表示されます。

原因

SLS イベントセンターのリソースが作成されていません。

ソリューション

1. Simple Log Service コンソールで、クォータ制限に達しているかどうかを確認します。リソースの詳細については、「基本リソース制限」をご参照ください。

   1. クォータ制限に達した場合は、不要なプロジェクトを削除するか、チケットを送信してプロジェクトのリソースクォータ制限の引き上げを申請してください。プロジェクトの削除方法の詳細については、「プロジェクトの管理」をご参照ください。

   2. 制限に達していない場合は、次の手順に進みます。

2. ack-node-problem-detector アドオンを再インストールします。

   コンポーネントを再インストールすると、k8s-log-xxxxxx という名前のデフォルトプロジェクトが再作成されます。

   1. ack-node-problem-detector アドオンをアンインストールします。

      1. Container Service for Kubernetes コンソールのターゲットクラスターの管理ページで、左側のナビゲーションウィンドウで O&M > コンポーネント管理 を選択します。

      2. [ログと監視] タブをクリックします。次に、ack-node-problem-detector コンポーネントカードの [アンインストール] をクリックし、ダイアログボックスで [確認] をクリックします。

   2. アンインストールが完了したら、ack-node-problem-detector アドオンをインストールします。

      1. 左側のナビゲーションウィンドウで、O&M > アラート を選択します

      2. [アラートルール] ページで、[インストールを開始] をクリックします。コンソールは自動的にプロジェクトを作成し、コンポーネントをインストールおよびアップグレードします。

3. [アラートルール] ページで、対応するアラートルールセットを無効にします。その [アラートルールステータス] が [ルール無効] に変わるまで待ってから、ルールセットを再度有効にして再試行します。

現象

設定またはデプロイ中にアラートルールの同期に失敗し、this rule have no xxx contact groups reference などのエラーメッセージが表示されます。その結果、このアラートルールの通知は配信されません。

原因

アラートルールの同期に失敗し、this rule have no xxx contact groups reference に類似したエラーメッセージが報告されます。

ソリューション

1. 連絡先を作成し、連絡先グループに追加していること。

2. ターゲットのアラートルールセットの右側にある [通知ポリシーの編集] をクリックして、どのアラートルールセットをどの連絡先グループがサブスクライブするかを設定します。

kubectl top pod/node でデータが返されない理由

kubectl top pod/node で一部のデータが欠落している理由

HPA がメトリクスデータを取得できない場合の対処法

ローリングデプロイ中に HPA が余分な Pod を作成する理由

--metric-resolution=15s
--enable-hpa-rolling-update-skipped=true