Simple Log Service:サイドカーモードで Kubernetes コンテナからテキストログを収集する

実装

前提条件

• Logtail がインストールされているサーバーでは、アウトバウンドトラフィック用にポート 80（HTTP）と 443（HTTPS）が有効になっています。 サーバーが Elastic Computing Service（ECS）インスタンスである場合は、関連するセキュリティグループルールを再構成してポートを有効にすることができます。 セキュリティグループルールを構成する方法の詳細については、「セキュリティグループルールの追加」をご参照ください。

• kubectl コマンドラインツールが Kubernetes クラスタにインストールされています。 詳細については、「kubectl」をご参照ください。

使用上の注意

• ログは、ログを収集するコンテナで継続的に生成されます。 Logtail は増分ログのみを収集します。 Logtail 構成が配信され、サーバーに適用された後、サーバー上のログファイルが更新されない場合、Logtail はそのファイルからログを収集しません。 詳細については、「ログファイルの読み取り」をご参照ください。

• ログを収集するファイルは、必要な Logtail コンテナにマウントされているボリュームに保存されます。

手順 1：Logtail コンテナをビジネスポッドに挿入する

1. Kubernetes クラスタにログオンします。

2. YAML ファイルを作成します。 次のコマンドでは、sidecar.yaml はサンプルファイル名です。 ビジネス要件に基づいて別のファイル名を指定できます。

   vim sidecar.yaml

3. YAML ファイルに次のスクリプトを入力し、ビジネス要件に基づいてパラメータを構成します。

   警告

   次の YAML テンプレート では、${} 形式のすべてのプレースホルダーを実際の値に置き換えます。 その他のパラメータは変更または削除しないでください。

   YAML テンプレート

   apiVersion: batch/v1
   kind: Job
   metadata:
     # ジョブメタデータ（名前、名前空間など）を追加します。
     name: ${job_name}
     namespace: ${namespace}
   spec:
     template:
       spec:
         restartPolicy: Never
         containers:
           # アプリケーションコンテナの設定を構成します。
           - name: ${main_container_name}
             image: ${main_container_image}
             command: ["/bin/sh", "-c"]
             args:
               - until [[ -f /tasksite/cornerstone ]]; do sleep 1; done;
                 # command 変数をアプリケーションコンテナの実際の起動コマンドに置き換えます。
                 ${container_start_cmd};
                 retcode=$?;
                 touch /tasksite/tombstone;
                 exit $retcode
             volumeMounts:
               # アプリケーションコンテナのログディレクトリを共有ボリュームにマウントします。
               - name: ${shared_volume_name}
                 mountPath: ${dir_containing_your_files}
               # Logtail コンテナと対話するためのマウントポイントを作成します。
               - mountPath: /tasksite
                 name: tasksite
   
           # サイドカーコンテナである Logtail コンテナの設定を構成します。
           - name: logtail
             image: ${logtail_image}
             command: ["/bin/sh", "-c"]
             args:
               - /etc/init.d/ilogtaild start;
                 sleep 10; # Logtail 構成がダウンロードされるまで待機します。
                 touch /tasksite/cornerstone;
                 until [[ -f /tasksite/tombstone ]]; do sleep 1; done;
                 sleep 10; # Logtail がログの送信を完了するまで待機します。
                 /etc/init.d/ilogtaild stop;
             livenessProbe:
               exec:
                 command:
                   - /etc/init.d/ilogtaild
                   - status
               initialDelaySeconds: 30
               periodSeconds: 30
             env:
               # タイムゾーンを指定します。Kubernetes クラスタが存在するリージョンに基づいて、リージョン/都市の形式でタイムゾーンを指定します。 たとえば、クラスタが中国本土にある場合は、タイムゾーンを Asia/Shanghai に設定します。
               # 指定されたタイムゾーンが無効な場合、未処理ログと処理済みログの時間ラベルが一致しない可能性があります。 その結果、ログが誤った時点でアーカイブされる可能性があります。
               - name: TZ
                 value: "${timezone}"
               - name: ALIYUN_LOGTAIL_USER_ID
                 value: "${your_aliyun_user_id}"
               - name: ALIYUN_LOGTAIL_USER_DEFINED_ID
                 value: "${your_machine_group_user_defined_id}"
               - name: ALIYUN_LOGTAIL_CONFIG
                 value: "/etc/ilogtail/conf/${your_region_config}/ilogtail_config.json"
               # ポッド環境情報をログラベルとして指定します。
               - name: "ALIYUN_LOG_ENV_TAGS"
                 value: "_pod_name_|_pod_ip_|_namespace_|_node_name_|_node_ip_"
               # ポッドとノードの情報を取得します。
               - name: "_pod_name_"
                 valueFrom:
                   fieldRef:
                     fieldPath: metadata.name
               - name: "_pod_ip_"
                 valueFrom:
                   fieldRef:
                     fieldPath: status.podIP
               - name: "_namespace_"
                 valueFrom:
                   fieldRef:
                     fieldPath: metadata.namespace
               - name: "_node_name_"
                 valueFrom:
                   fieldRef:
                     fieldPath: spec.nodeName
               - name: "_node_ip_"
                 valueFrom:
                   fieldRef:
                     fieldPath: status.hostIP
             volumeMounts:
               # Logtail コンテナのログディレクトリを共有ボリュームにマウントします。
               - name: ${shared_volume_name}
                 mountPath: ${dir_containing_your_files}
               # アプリケーションコンテナと対話するためのマウントポイントを作成します。
               - mountPath: /tasksite
                 name: tasksite
                 # ホストと同じタイムゾーンを指定します。
               - name: tz-config
                 mountPath: /etc/localtime
                 readOnly: true
         volumes:
           # ログストレージ用の空の共有ボリュームを定義します。
           - name: ${shared_volume_name}
             emptyDir: {}
           # コンテナが相互に通信するためのボリュームを定義します。
           - name: tasksite
             emptyDir:
               medium: Memory
           - name: tz-config
             hostPath:
               path: /usr/share/zoneinfo/Asia/Shanghai # ホストのタイムゾーンファイルを指定します。
   
   

   主なパラメータ

   変数	説明
   ${timezone}	コンテナのタイムゾーン。 詳細については、「タイムゾーン」をご参照ください。
   ${your_aliyun_user_id}	Alibaba Cloud アカウントの ID。 詳細については、「ユーザー識別子の構成」をご参照ください。
   ${your_machine_group_user_defined_id}	マシングループのカスタム識別子。 カスタム識別子に基づいてマシングループを作成できます。 例：nginx-log-sidecar。 重要 カスタム識別子は、プロジェクトが存在するリージョン内で一意である必要があります。
   ${your_region_config}	プロジェクトのリージョン ID とネットワークタイプ。 リージョンの詳細については、「サポートされているリージョン」をご参照ください。 インターネット経由でプロジェクトにログが収集される場合は、region-internet 形式で値を指定します。 たとえば、プロジェクトが [中国 (杭州)] リージョンにある場合は、cn-hangzhou-internet を指定します。 Alibaba Cloud の内部ネットワーク経由でプロジェクトにログが収集される場合は、region 形式で値を指定します。 たとえば、プロジェクトが [中国 (杭州)] リージョンにある場合は、cn-hangzhou を指定します。
   ${logtail_image}	Logtail イメージのアドレス。 例：registry.cn-hangzhou.aliyuncs.com/log-service/logtail:latest。
   ${shared_volume_name}	ボリュームの名前。 ビジネス要件に基づいて名前を指定できます。 重要 volumeMounts ノードの name パラメータの値と、volumes ノードの name パラメータの値は同じである必要があります。 これにより、同じボリュームが Logtail コンテナとアプリケーションコンテナにマウントされます。
   ${dir_containing_your_files}	マウントパス。 収集するコンテナテキストログのディレクトリを指定します。

   例

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     annotations:
       deployment.kubernetes.io/revision: '1'
     labels:
       app: deployment-file
       cluster_label: CLUSTER-LABEL-A
     name: deployment-file
     namespace: default
   spec:
     progressDeadlineSeconds: 600
     replicas: 1
     revisionHistoryLimit: 10
     selector:
       matchLabels:
         app: deployment-file
     strategy:
       rollingUpdate:
         maxSurge: 25%
         maxUnavailable: 25%
       type: RollingUpdate
     template:
       metadata:
         labels:
           app: deployment-file
           cluster_label: CLUSTER-LABEL-A
       spec:
         containers:
           - name: timestamp-test
             image: 'mirrors-ssl.aliyuncs.com/busybox:latest'
             args:
               - >-
                 while true; mkdir -p /root/log; do date '+%Y-%m-%d %H:%M:%S'
                 >>/root/log/timestamp.log; echo 1 >>/root/log/timestamp.log; echo
                 2 >>/root/log/timestamp.log; echo 3 >>/root/log/timestamp.log;
                 echo 4 >>/root/log/timestamp.log; echo 5
                 >>/root/log/timestamp.log; echo 6 >>/root/log/timestamp.log;
                 echo 7 >>/root/log/timestamp.log; echo 8
                 >>/root/log/timestamp.log; echo 9 >>/root/log/timestamp.log;
                 sleep 10; done
             command:
               - /bin/sh
               - '-c'
               - '--'
             env:
               - name: cluster_id
                 value: CLUSTER-A
             imagePullPolicy: IfNotPresent
             resources: {}
             terminationMessagePath: /dev/termination-log
             terminationMessagePolicy: File
             volumeMounts:
               # アプリケーションコンテナのログディレクトリを共有ボリュームにマウントします。
               - name: test-logs
                 mountPath: /root/log
                # Logtail コンテナと対話するためのマウントポイントを作成します。
               - mountPath: /tasksite
                 name: tasksite
               - name: tz-config
                 mountPath: /etc/localtime
                 readOnly: true
           # サイドカーコンテナである Logtail コンテナの設定を構成します。
           - name: logtail
             image: registry.cn-hangzhou.aliyuncs.com/log-service/logtail:v1.8.7.0-aliyun
             command: ["/bin/sh", "-c"]
             args:
               - /etc/init.d/ilogtaild start;
                 sleep 10;
                 touch /tasksite/cornerstone;
                 until [[ -f /tasksite/tombstone ]]; do sleep 1; done;
                 sleep 10;
                 /etc/init.d/ilogtaild stop;
             livenessProbe:
               exec:
                 command:
                   - /etc/init.d/ilogtaild
                   - status
               initialDelaySeconds: 30
               periodSeconds: 30
             resources:
               limits:
                 cpu: 500m
                 memory: 512Mi
               requests:
                 cpu: 10m
                 memory: 30Mi
             env:
               # タイムゾーンを指定します。Kubernetes クラスタが存在するリージョンに基づいて、リージョン/都市の形式でタイムゾーンを指定します。 たとえば、クラスタが中国本土にある場合は、タイムゾーンを Asia/Shanghai に設定します。
               # 指定されたタイムゾーンが無効な場合、未処理ログと処理済みログの時間ラベルが一致しない可能性があります。 その結果、ログが誤った時点でアーカイブされる可能性があります。
               - name: TZ
                 value: "Asia/Shanghai"
               # 環境変数を実際の値に置き換えます。
               - name: ALIYUN_LOGTAIL_USER_ID
                 value: "1290918****39680"
               - name: ALIYUN_LOGTAIL_USER_DEFINED_ID
                 value: "nginx-log-sidecar"
               - name: ALIYUN_LOGTAIL_CONFIG
                 value: "/etc/ilogtail/conf/cn-beijing-internet/ilogtail_config.json"
               # ポッド環境情報をログラベルとして指定します。
               - name: "ALIYUN_LOG_ENV_TAGS"
                 value: "_pod_name_|_pod_ip_|_namespace_|_node_name_|_node_ip_"
               # ポッドとノードの情報を取得します。
               - name: "_pod_name_"
                 valueFrom:
                   fieldRef:
                     fieldPath: metadata.name
               - name: "_pod_ip_"
                 valueFrom:
                   fieldRef:
                     fieldPath: status.podIP
               - name: "_namespace_"
                 valueFrom:
                   fieldRef:
                     fieldPath: metadata.namespace
               - name: "_node_name_"
                 valueFrom:
                   fieldRef:
                     fieldPath: spec.nodeName
               - name: "_node_ip_"
                 valueFrom:
                   fieldRef:
                     fieldPath: status.hostIP
             volumeMounts:
               # Logtail コンテナのログディレクトリを共有ボリュームにマウントします。
               - name: test-logs
                 mountPath: /root/log
         volumes:
           # ログストレージ用の空の共有ボリュームを定義します。
           - name: test-logs
             emptyDir: {}
             # コンテナが相互に通信するためのボリュームを定義します。
           - name: tasksite
             emptyDir:
               medium: Memory
           - name: tz-config
             hostPath:
               path: /usr/share/zoneinfo/Asia/Shanghai # サーバーのタイムゾーンファイルを指定します。
         dnsPolicy: ClusterFirst
         restartPolicy: Always
         schedulerName: default-scheduler
         securityContext: {}
         terminationGracePeriodSeconds: 30

4. 次のコマンドを実行して、sidecar.yaml ファイルの構成を適用します。

   次のコマンドでは、sidecar.yaml はサンプルファイル名です。 ビジネス要件に基づいて別のファイル名を指定できます。

   kubectl apply -f sidecar.yaml

手順 2：カスタム識別子ベースのマシングループを作成する

1. Simple Log Service コンソール にログオンします。 [プロジェクト] セクションで、管理するプロジェクトをクリックします。

2. 左側のナビゲーションウィンドウで、[リソース] > [マシングループ] を選択します。 [マシングループ] リストで、 > [マシングループの作成] を選択します。

3. [マシングループの作成] パネルで、パラメータを構成し、[OK] をクリックします。 次の表にパラメータを示します。

   パラメータ	説明
   名前	マシングループ の名前。 名前には以下の要件を満たす必要があります。 名前に含めることができるのは、小文字、数字、ハイフン（-）、アンダースコア（_）のみです。 名前は小文字または数字で始まり、小文字または数字で終わる必要があります。 名前は 2 ～ 128 文字である必要があります。 重要 マシングループを作成した後、マシングループの名前を変更することはできません。 注意して進めてください。
   マシングループ識別子	マシングループの識別子タイプ。 [カスタム識別子] を選択します。
   マシングループトピック	オプション。 マシングループのトピック。 トピック は、異なるサーバーによって生成されたログを識別するために使用されます。 詳細については、「ログトピック」をご参照ください。
   カスタム識別子	カスタム識別子。 手順 1 で構成したカスタム識別子を入力します。

手順 4：ログのクエリと分析

データのインポートウィザードの [終了] ステップで、[ログのクエリ] をクリックします。 その後、作成されたログストアのクエリと分析ページに移動します。 インデックスが作成されていないため、次のエラーメッセージが表示される場合があります。 エラーメッセージページを閉じて 1 分間待機すると、収集されたログを表示できます。

検索ボックスにクエリ文を入力し、クエリ時間範囲を指定して、[検索と分析] をクリックします。 その後、指定された条件を満たすログを取得できます。 クエリと分析の構文の詳細については、「インデックスモードでのログのクエリと分析」をご参照ください。

参考資料

Logtail 構成の表示

1. Simple Log Service コンソール にログオンします。

2. [プロジェクト] セクションで、対象のプロジェクトをクリックします。

3. [ログストレージ] > [ログストア] を選択します。 対象の Logtail 構成の [>] アイコンをクリックします。 [データのインポート] > [logtail 構成] を選択します。

4. 対象の Logtail 構成をクリックして、構成の詳細を表示します。

トラブルシューティング

• Simple Log Service コンソールにエラーメッセージが表示されるかどうかを確認できます。 詳細については、「Logtail 収集エラーの表示方法」をご参照ください。

• Logtail を使用してログを収集するときにエラーが発生したが、Simple Log Service コンソールにエラーメッセージが表示されない場合は、マシングループと Logtail 構成のハートビートステータスを確認できます。 詳細については、「コンテナからログを収集するときにエラーが発生した場合の対処方法」をご参照ください。