Simple Log Service:コンテナーログ収集エラーのトラブルシューティング

マシングループのハートビートエラーの確認

マシングループのハートビートステータスを確認して、Logtail がコンテナー環境に正しくインストールされているかどうかを判断します。

1. マシングループのハートビートステータスを確認します。

   1. Simple Log Service コンソールにログインします。

   2. [プロジェクト] セクションで、目的のプロジェクトをクリックします。

      

   3. ナビゲーションウィンドウで、[リソース] > [マシングループ] を選択します。

   4. マシングループのリストで、対象のマシングループをクリックします。

   5. [マシングループ設定] ページで、マシングループのステータスを表示し、ハートビートステータスが [OK] のノード数を記録します。

2. コンテナークラスター内のワーカーノードの数を確認します。

   1. クラスターに接続する。

   2. 次のコマンドを実行して、クラスター内のワーカーノードの数を表示します。

      kubectl get node | grep -v master

      次のような結果が返されます。

      NAME                                 STATUS    ROLES     AGE       VERSION
      cn-hangzhou.i-bp17enxc2us3624wexh2   Ready     <none>    238d      v1.10.4
      cn-hangzhou.i-bp1ad2b02jtqd1shi2ut   Ready     <none>    220d      v1.10.4

3. ハートビートステータスが [OK] のノード数とコンテナークラスター内のワーカーノードの数を比較します。比較結果に基づいて問題をトラブルシューティングします。

   • マシングループ内のすべてのノードのハートビートステータスが [失敗] です。

     • 標準 Docker コンテナーからログを収集する場合は、「Docker コンテナー (stdout およびファイル) からログを収集する」をご参照のうえ、${your_region_name}、${your_aliyun_user_id}、および ${your_machine_group_user_defined_id} が正しく指定されているか確認してください。

     • Alibaba Cloud Kubernetes クラスターを使用している場合は、チケットを送信。

     • セルフマネージド Kubernetes クラスターを使用する場合は、「サイドカーを使用して Kubernetes コンテナーからテキストログを収集する」をご参照のうえ、{regionId}、{aliuid}、{access-key-id}、および {access-key-secret} が正しく指定されているか確認してください。

       これらが誤って指定されている場合は、helm del --purge alibaba-log-controller コマンドを実行してインストールパッケージを削除し、再インストールしてください。

   • ハートビートステータスが [OK] のノード数が、クラスター内のワーカーノード数よりも少ないです。

     • DaemonSet が YAML ファイルを使用して手動でデプロイされているかどうかを確認します。

       1. 次のコマンドを実行します。結果が返された場合は、DaemonSet が YAML ファイルを使用して手動でデプロイされたことを意味します。

          kubectl get po -n kube-system -l k8s-app=logtail

       2. DaemonSet テンプレートの最新バージョンをダウンロードします。

       3. ${your_region_name}、${your_aliyun_user_id}、${your_machine_group_name} などのパラメーターを実際の値で構成します。

       4. 次のコマンドを実行してファイルを更新します。

          kubectl apply -f ./logtail-daemonset.yaml

     • その他の場合は、チケットを送信。

コンテナーログ収集エラーの確認

1. マシングループのハートビートエラーを確認します。詳細については、「マシングループのハートビートエラーの確認」をご参照ください。

2. Logtail 構成が正しいかどうかを確認します。

   Logtail 構成の IncludeLabel、ExcludeLabel、IncludeEnv、ExcludeEnv、およびその他の設定が要件を満たしているかどうかを確認します。

   説明

   • ラベルはコンテナーラベルであり、Docker inspect の出力にあるラベルであり、Kubernetes ラベルではありません。

   • IncludeLabel、ExcludeLabel、IncludeEnv、および ExcludeEnv の設定を一時的に削除して、ログを収集できるかどうかを確認できます。ログを収集できる場合は、これらのパラメーターの設定が正しくないことを示します。

その他の O&M 操作

start umount useless mount points, /shm$|/merged$|/mqueue$
umount: /logtail_host/var/lib/docker/overlay2/3fd0043af174cb0273c3c7869500fbe2bdb95d13b1e110172ef57fe840c82155/merged: must be superuser to unmount
umount: /logtail_host/var/lib/docker/overlay2/d5b10aa19399992755de1f85d25009528daa749c1bf8c16edff44beab6e69718/merged: must be superuser to unmount
umount: /logtail_host/var/lib/docker/overlay2/5c3125daddacedec29df72ad0c52fac800cd56c6e880dc4e8a640b1e16c22dbe/merged: must be superuser to unmount
......
xargs: umount: exited with status 255; aborting
umount done
start logtail
ilogtail is running
logtail status:
ilogtail is running

kubectl get deploy -n kube-system | grep -E 'alibaba-log-controller|loongcollector-operator'

NAME                     READY   UP-TO-DATE   AVAILABLE   AGE
alibaba-log-controller   1/1     1            1           11d

kubectl get ds  -n kube-system | grep -E 'logtail-ds|loongcollector-ds'

NAME         DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR  AGE
logtail-ds   2         2         2       2            2           **ux           11d