Simple Log Service:自己管理型クラスターから DaemonSet モードで stdout および stderr を収集する（旧バージョン）

CRD - AliyunPipelineConfig（推奨）

Logtail 構成を作成するには、AliyunPipelineConfig CRD からカスタムリソース（CR）を作成するだけです。CR が作成されると、Logtail 構成が有効になります。

1. Kubernetes クラスターにログインします。

2. example-k8s-file.yaml という名前のファイルを作成します。

   Logtail 構成ジェネレーター を使用してシナリオの YAML スクリプトを生成するか、提供されている例に基づいて手動で記述します。

   以下の YAML ファイルの例では、デフォルトの名前空間内で app: ^(.*test.*)$ というラベルが付いたポッドから標準出力を複数行テキストモードを使用してキャプチャし、k8s-log-test という名前のプロジェクト内に自動的に作成される k8s-file というログストアに転送します。必要に応じて YAML のパラメーターを調整します。

   1. project： Simple Log Service コンソール にログインし、インストールした Logtail によって作成されたプロジェクト名（通常は k8s-log-<YOUR_CLUSTER_ID> の形式、例： k8s-log-test）を確認します。

   2. IncludeK8sLabel：ターゲットポッドのラベルをフィルタリングするために使用されます。たとえば、app: ^(.*test.*)$ は、ラベルキーが app であり、値に test が含まれるポッドを収集することを示します。

      説明

      クラスター内の test を含む名前のすべてのポッドを収集するには、IncludeK8sLabel の代わりに K8sContainerRegex を使用し、ワイルドカード文字を使用して値を設定します（例： K8sContainerRegex: ^(.test.)$）。

   3. Endpoint および Region：例： ap-southeast-1.log.aliyuncs.com および ap-southeast-1。

   YAML ファイルの config （サポートされている入力、出力、処理プラグインタイプ、コンテナフィルタリングメソッドなど）の詳細については、「PipelineConfig」をご参照ください。 YAML パラメーターの完全なリストについては、「CR パラメーター」をご参照ください。

   apiVersion: telemetry.alibabacloud.com/v1alpha1
   # ClusterAliyunPipelineConfig を作成します。
   kind: ClusterAliyunPipelineConfig
   metadata:
     # リソースの名前を指定します。名前は、現在の Kubernetes クラスター内で一意である必要があります。この名前は、作成される Logtail 構成の名前でもあります。
     name: example-k8s-file
   spec:
     # ターゲットプロジェクトを指定します。
     project:
       name: k8s-log-test
     # ログを格納するためのログストアを作成します。
     logstores:
       - name: k8s-stdout
     # Logtail 構成を定義します。
     config:
       # サンプルログ (オプション)
       sample: |
         2024-06-19 16:35:00 INFO test log
         line-1
         line-2
         end
       # 入力プラグインを定義します。
       inputs:
             # service_docker_stdout プラグインを使用して、コンテナー内のテキストログを収集します。
         - Type: service_docker_stdout
           Stdout: true
           Stderr: true
           # コンテナー情報のフィルター条件を構成します。複数のオプションは AND 条件です。
           # 収集対象のコンテナーを含むポッドが属する名前空間を指定します。正規表現マッチングをサポートします。
           K8sNamespaceRegex: "^(default)$"
           # コンテナーメタデータのプレビューを有効にします。
           CollectContainersFlag: true
           # Pod ラベル条件を満たすコンテナーを収集します。複数のエントリは OR 条件です。
           IncludeK8sLabel:
             app: ^(.*test.*)$
           # 複数行チャンク構成を設定します。単一行ログ収集の場合は無効な構成です。
           # 行頭の正規表現を構成します。
           BeginLineRegex: \d+-\d+-\d+.*
       # 出力プラグインを定義します。
       flushers:
         # flusher_sls プラグインを使用して、ログを指定されたログストアに送信します。
         - Type: flusher_sls
           # ログストアが存在することを確認します。
           Logstore: k8s-stdout
           # エンドポイントが有効であることを確認します。
           Endpoint: ap-southeast-1.log.aliyuncs.com
           Region: ap-southeast-1
           TelemetryType: logs

3. kubectl apply -f example.yaml コマンドを実行します。example.yaml は、作成した YAML ファイルの名前に置き換えます。その後、Logtail によってコンテナーの stdout および stderr が Simple Log Service に収集されます。

CRD - AliyunLogConfig

Logtail 構成を作成するには、AliyunLogConfig CRD から CR を作成するだけです。CR が作成されると、Logtail 構成が有効になります。

1. Kubernetes クラスタにログオンします。

2. example-k8s-file.yaml という名前のファイルを作成します。

   この YAML スクリプトは、simple-stdout-example という Logtail 構成を確立します。複数行モードを使用して、app で始まる名前を持つクラスタ内のすべてのコンテナから標準出力を収集します。収集されたデータは、k8s-log-<your_cluster_id> という名前のプロジェクト内の k8s-stdout というログストアに送信されます。

   サポートされている入力、出力、処理プラグインタイプ、コンテナフィルタリング方法など、YAML ファイルの logtailConfig 項目の詳細については、「AliyunLogConfig の詳細」をご参照ください。YAML パラメーターの完全なリストについては、「CR パラメーター」をご参照ください。

   # 標準出力構成
   apiVersion: log.alibabacloud.com/v1alpha1
   kind: AliyunLogConfig
   metadata:
     # リソースの名前を指定します。名前は、現在の Kubernetes クラスタ内で一意である必要があります。
     name: simple-stdout-example
   spec:
     # ターゲットプロジェクト名を指定します（オプション、デフォルトは k8s-log-<your_cluster_id> です）
     # project: k8s-log-test
     # ログストアの名前を指定します。指定されたログストアが存在しない場合、Simple Log Service は自動的にログストアを作成します。
     logstore: k8s-stdout
     # Logtail コレクション構成を指定します。
     logtailConfig:
       # データソースのタイプを指定します。標準出力を収集するには、値を plugin に設定します。
       inputType: plugin
       # Logtail コレクション構成の名前を指定します。名前は、metadata.name で指定されたリソース名と同じである必要があります。
       configName: simple-stdout-example
       inputDetail:
         plugin:
           inputs:
             - type: service_docker_stdout
               detail:
                 # stdout と stderr のコレクションを指定します。
                 Stdout: true
                 Stderr: true
                 # 収集対象のコンテナを含むポッドが属する名前空間を指定します。正規表現マッチングをサポートします。
                 K8sNamespaceRegex: "^(default)$"
                 # 収集対象のコンテナの名前を指定します。正規表現マッチングをサポートします。
                 K8sContainerRegex: "^(app.*)$"
                 # 複数行チャンク構成を構成します。
                 # 行の先頭の正規表現を構成します。
                 BeginLineRegex: \d+-\d+-\d+.*
                 

3. kubectl apply -f example.yaml コマンドを実行します。example.yaml を、作成した YAML ファイルの名前に置き換えます。その後、Logtail はコンテナの stdout と stderr を Simple Log Service に収集し始めます。

Simple Log Service コンソール

1. ログサービス コンソール にログオンします。

2. [プロジェクト] セクションで、Logtail コンポーネントのインストールに使用するプロジェクトをクリックします。例: k8s-log-<your_cluster_id>。表示されたページで、管理するログストアをクリックし、[Logtail 設定] をクリックします。[Logtail 設定] ページで、[Logtail 設定の追加] をクリックします。[クイックデータインポート] ダイアログボックスで、[K8S - Stdout And Stderr - Old Version] カードを見つけて [今すぐ統合] をクリックします。

3. 左側のナビゲーションペインで、[既存のマシン グループを使用] をクリックします。

4. データインポートウィザードの [マシン グループ設定] ステップで、シナリオ パラメーターを Kubernetes クラスターに設定し、デプロイメント方法パラメーターを ACK DaemonSet に設定し、k8s-group-${your_k8s_cluster_id} マシン グループを選択して > [アイコン] をクリックし、[ソース マシン グループ] セクションから [適用済みサーバー グループ] セクションにマシン グループを移動し、[次へ] をクリックします。

   

5. ローカル Git を使用して、WordPress のデプロイをカスタマイズすることもできます。

   グローバル構成セクションでパラメーターを構成する必要があります。詳細については、「Logtail 構成を作成する」をご参照ください。

   • [グローバル構成]

     [グローバル構成] セクションで、構成名パラメーターを構成します。

     

6. インデックスを作成し、データをプレビューします。デフォルトでは、Simple Log Service で全文インデックスが有効になっています。この場合、全文インデックスが作成されます。インデックスに基づいてログ内のすべてのフィールドを検索できます。また、収集したログに基づいて、フィールドのインデックスを手動で作成することもできます。あるいは、自動インデックス生成をクリックすることもできます。すると、Simple Log Service がフィールドのインデックスを生成します。フィールドインデックスに基づいて、データを正確に検索できます。これにより、インデックス作成のコストが削減され、検索効率が向上します。詳細については、「インデックスを作成する」を参照してください。