Container Service for Kubernetes:自己管理型クラスターから DaemonSet モードでテキストログを収集する

CRD - AliyunPipelineConfig (推奨)

Logtail 構成を作成するには、AliyunPipelineConfig CRD からカスタムリソース (CR) を作成するだけです。CR が作成されると、Logtail 構成が有効になります。

1. Kubernetes クラスターにログインします。

2. example-k8s-file.yaml という名前のファイルを作成します。

   Logtail 構成ジェネレーターを使用して、シナリオの Logtail 構成を作成するために使用される YAML スクリプトを生成できます。詳細については、「Logtail 構成ジェネレーター」をご参照ください。または、次の例に基づいて YAML スクリプトを手動で記述することもできます。

   次のコードは、k8s-log-test プロジェクトで自動的に作成された k8s-file Logstore に、複数行モードでデフォルトの名前空間の app: ^(.*test.*)$ でラベル付けされたポッドの /data/logs/app_1 ディレクトリにある test.LOG ファイルからテキストログを収集するために使用される YAML ファイルの例を示しています。ビジネス要件に基づいて、YAML ファイルの次のパラメーターを変更できます。

   1. project: 例: k8s-log-test。

      Simple Log Service コンソール にログインします。Logtail がインストールされた後に生成されたプロジェクトの名前を確認します。ほとんどの場合、プロジェクト名は k8s-log-<YOUR_CLUSTER_ID> 形式です。

   2. IncludeK8sLabel: ポッドをフィルタリングするために使用されるラベル。例: app: ^(.*test.*)$。この例では、ラベルキーが app でラベル値に test が含まれるポッドのログが収集されます。

      説明

      クラスター内で名前が test を含むポッドのログを収集する場合は、IncludeK8sLabel パラメーターを K8sContainerRegex パラメーターに置き換え、ワイルドカードを使用して K8sContainerRegex パラメーターの値を指定できます。例: K8sContainerRegex: ^(.test.)$。

   3. FilePaths: 例: /data/logs/app_1/**/test.LOG。詳細については、「コンテナーのファイルパス マッピング」をご参照ください。

   4. Endpoint と Region: Endpoint パラメーターの例: cn-hangzhou.log.aliyuncs.com。Region パラメーターの例: cn-hangzhou。

   config パラメータの値には、入力、出力、および処理プラグインの種類とコンテナフィルタリング方法が含まれます。詳細については、「PipelineConfig」を参照してください。YAML ファイル内の完全なパラメータの詳細についは、「CRパラメーター」を参照してください。

   apiVersion: telemetry.alibabacloud.com/v1alpha1
   kind: ClusterAliyunPipelineConfig
   metadata:
     # リソースの名前を指定します。名前は、現在の Kubernetes クラスター内で一意である必要があります。名前は、作成された Logtail 構成の名前と同じです。リソース名が既に存在する場合、名前は有効になりません。
     name: example-k8s-file
   spec:
     # プロジェクトの名前を指定します。
     project:
       name: k8s-log-test
     logstores:
       # k8s-file という名前のログストアを作成します。
       - name: k8s-file
     # Logtail 構成を作成します。
     config:
       # サンプルログを入力します。このパラメーターは空のままにすることができます。
       sample: |
         2024-06-19 16:35:00 INFO test log
         line-1
         line-2
         end
       # 入力プラグインを指定します。
       inputs:
         # input_file プラグインを使用して、コンテナーから複数行のテキストログを収集します。
         - Type: input_file
           # コンテナー内のファイルパスを指定します。
           FilePaths:
             - /data/logs/app_1/**/test.LOG
           # コンテナー検出機能を有効にします。
           EnableContainerDiscovery: true
           # 条件を追加してコンテナーをフィルタリングします。複数の条件は論理 AND を使用して評価されます。
           CollectingContainersMeta: true
           ContainerFilters:
             # 必要なコンテナーが属するポッドの名前空間を指定します。正規表現マッチングがサポートされています。
             K8sNamespaceRegex: default
             # 必要なコンテナーの名前を指定します。正規表現マッチングがサポートされています。
             IncludeK8sLabel:
               app: ^(.*app.*)$
           # 複数行ログ収集を有効にします。単一行ログを収集する場合は、このパラメーターを削除します。
           Multiline:
             # カスタムモードを指定して、正規表現に基づいてログの最初の行の先頭を照合します。
             Mode: custom
             # ログの最初の行の先頭を照合するために使用される正規表現を指定します。
             StartPattern: '\d+-\d+-\d+\s\d+:\d+:\d+'
       # 処理プラグインを指定します。
       processors:
         # processor_parse_regex_native プラグインを使用して、指定された正規表現に基づいてログを解析します。
         - Type: processor_parse_regex_native
           # 元のフィールドの名前を指定します。
           SourceKey: content
           # 解析に使用する正規表現を指定します。キャプチャグループを使用してフィールドを抽出します。
           Regex: (\d+-\d+-\d+\s\S+)(.*)
           # 抽出するフィールドを指定します。
           Keys: ["time", "detail"]
       # 出力プラグインを指定します。
       flushers:
         # flusher_sls プラグインを使用して、ログを特定のログストアに配信します。
         - Type: flusher_sls
           # ログストアが存在することを確認します。
           Logstore: k8s-file
           # エンドポイントが有効であることを確認します。
           Endpoint: cn-beijing.log.aliyuncs.com
           Region: cn-beijing
           TelemetryType: logs

3. kubectl apply -f example.yaml コマンドを実行します。example.yaml は、作成した YAML ファイルの名前に置き換えます。その後、Logtail によってコンテナーのテキストログが Simple Log Service に収集されます。

CRD - AliyunLogConfig

AliyunLogConfig CRD から CR を作成して、Logtail 構成を作成できます。CR が作成されると、Logtail 構成が有効になります。

1. Kubernetes クラスターにログインします。

2. example-k8s-file.yaml という名前のファイルを作成します。

   次のコードは、example-k8s-file という名前の Logtail 構成を作成するために使用される YAML ファイルの例を示しています。この Logtail 構成を使用すると、シンプルモードでクラスター内のapp で始まる名前のコンテナーの /data/logs/app_1 ディレクトリにある test.LOG ファイルからテキストログを収集し、k8s-log-<YOUR_CLUSTER_ID> プロジェクト内の自動的に作成された k8s-file Logstore に送信できます。

   ビジネス要件に基づいて、サンプルのログファイル パスを変更できます。詳細については、「コンテナーのファイルパス マッピング」をご参照ください。

   • logPath: ログファイルパス。例: /data/logs/app_1。

   • filePattern: ログを収集するファイルの名前。例: test.LOG。

   logtailConfig パラメーターは、入力、出力、処理プラグインの種類、およびコンテナーのフィルタリング方法を含む、Logtail の詳細を指定します。詳細については、「AliyunLogConfigDetail」をご参照ください。 YAML ファイルの完全なパラメーターの詳細については、「CR パラメーター」をご参照ください。

   apiVersion: log.alibabacloud.com/v1alpha1
   kind: AliyunLogConfig
   metadata:
     # リソースの名前を指定します。名前は、現在の Kubernetes クラスター内で一意である必要があります。
     name: example-k8s-file
     # リソースが属する名前空間を指定します。
     namespace: kube-system
   spec:
     # プロジェクトの名前を指定します。このパラメーターを空のままにすると、k8s-log-<your_cluster_id> という名前のプロジェクトが使用されます。
     # project: k8s-log-test
     # Logstore の名前を指定します。指定された Logstore が存在しない場合、Simple Log Service は自動的に Logstore を作成します。
     logstore: k8s-file
     # Logtail 構成を作成します。
     logtailConfig:
       # データソースのタイプを指定します。テキストログを収集する場合は、値を file に設定します。
       inputType: file
       # LoongCollector 構成の名前を指定します。名前は、metadata.name で指定されたリソース名と同じである必要があります。
       configName: example-k8s-file
       inputDetail:
         # LoongCollector がシンプルモードでテキストログを収集できるようにする設定を指定します。
         logType: common_reg_log
         # ログファイルのパスを指定します。
         logPath: /data/logs/app_1
         # ログファイル名を指定します。ログファイル名を指定するときに、アスタリスク (*) や疑問符 (?) などのワイルドカード文字を使用できます。例: log_*.log。
         filePattern: test.LOG
         # コンテナーからテキストログを収集する場合は、値を true に設定します。
         dockerFile: true
         # 複数行のログ収集を有効にします。単一行のログを収集する場合は、このパラメーターを削除します。
         # ログの最初の行の先頭と一致する正規表現を指定します。
         logBeginRegex: \d+-\d+-\d+.*
         # コンテナーをフィルタリングする条件を指定します。
         advanced:
           k8s:
             K8sPodRegex: '^(app.*)$'

3. kubectl apply -f example.yaml コマンドを実行します。example.yaml は、作成した YAML ファイルの名前に置き換えます。その後、Logtail によってコンテナーのテキストログが Simple Log Service に収集されます。

シンプルな Log Service コンソール

1. シンプルな Log Service コンソール にログインします。

2. [プロジェクト] セクションで、Logtail コンポーネントのインストールに使用するプロジェクトをクリックします。例：k8s-log-<your_cluster_id>。表示されたページで、管理するログストアをクリックし、[Logtail 構成] をクリックします。[Logtail 構成] ページで、[Logtail 構成の追加] をクリックします。[クイックデータインポート] ダイアログボックスで、[Kubernetes - ファイル] カードを見つけて [今すぐ統合] をクリックします。

3. データインポートウィザードの [マシングループ構成] ステップで、[シナリオ] パラメーターを [Kubernetes クラスター] に設定し、[デプロイ方法] パラメーターを [ACK Daemonset] に設定し、k8s-group-${your_k8s_cluster_id} マシングループを選択し、> アイコンをクリックして、マシングループを [ソースマシングループ] セクションから [適用済みサーバーグループ] セクションに移動し、[次へ] をクリックします。

4. Logtail 構成を作成します。データインポートウィザードの [Logtail 構成] ステップで、必要なパラメーターを構成し、[次へ] をクリックします。Logtail 構成の作成には約 1 分かかります。

   次のリストは、主要なパラメーター設定について説明しています。詳細については、「Logtail 構成を作成する」をご参照ください。

   • グローバル構成

     [グローバル構成] セクションで、[構成名] パラメーターを構成します。

     

   • 入力構成

     • Logtail デプロイモード：Logtail デプロイモード。 [DaemonSet] を選択します。

     • ファイルパスの種類：ログの収集に使用するファイルパスの種類。有効な値：コンテナー内のパスとホストパス。 hostPath ボリュームがコンテナーにマウントされていて、コンテナーホスト上のマップされたファイルパスに基づいてファイルからログを収集する場合、このパラメーターを [ホストパス] に設定します。その他のシナリオでは、このパラメーターを [コンテナー内のパス] に設定します。

     • ファイルパス：収集するログを格納するために使用されるディレクトリ。ファイルパスはスラッシュ (/) で始まる必要があります。この例では、[ファイルパス] パラメーターを /data/wwwlogs/main/**/*.Log に設定します。これは、/data/wwwlogs/main ディレクトリにある .Log で終わるファイルからログが収集されることを示します。[最大ディレクトリ監視深度] パラメーターを構成して、監視するサブディレクトリの最大レベル数を指定できます。サブディレクトリは、指定したログファイルディレクトリにあります。このパラメーターは、[ファイルパス] パラメーターの値で ** ワイルドカード文字が一致できるサブディレクトリのレベルを指定します。値 0 は、指定されたログファイルディレクトリのみが監視されることを指定します。

5. インデックスの作成 と データのプレビュー。デフォルトでは、Log Service ではフルテキストインデックスが有効になっています。この場合、フルテキストインデックスが作成されます。インデックスに基づいてログ内のすべてのフィールドをクエリできます。収集されたログに基づいて、フィールドのインデックスを手動で作成することもできます。または、[自動インデックス生成] をクリックすることもできます。その後、Log Service はフィールドのインデックスを生成します。フィールドインデックスに基づいて、正確な方法でデータをクエリできます。これにより、インデックス作成コストが削減され、クエリの効率が向上します。詳細については、「インデックスを作成する」をご参照ください。