Simple Log Service:コンソールを使用したクラスターからのコンテナログ (標準出力およびファイル) の収集

1. グローバル設定と入力設定

始める前に、データ取り込みテンプレートを選択し、マシングループに適用したことを確認してください。このステップでは、収集設定の名前、ログソース、および収集範囲を定義します。

レポートされたログの表示

1. ログファイルに新しいコンテンツがあることを確認する：LoongCollector は増分ログのみを収集します。tail -f /path/to/your/log/file コマンドを実行し、サービス操作をトリガーして、新しいログが書き込まれていることを確認します。

2. ログのクエリ：ターゲット Logstore のクエリと分析ページに移動し、[検索と分析] をクリックします。デフォルトの時間範囲は過去 15 分です。新しいログが流入しているか確認します。収集された各コンテナテキストログには、以下のデフォルトフィールド情報が含まれています：

   フィールド名	説明
   __tag__:__hostname__	コンテナのホスト名。
   __tag__:__path__	コンテナ内のログファイルのパス。
   __tag__:_container_ip_	コンテナの IP アドレス。
   __tag__:_image_name_	コンテナが使用するイメージの名前。
   __tag__:_pod_name_	Pod の名前。
   __tag__:_namespace_	Pod が属する名前空間。
   __tag__:_pod_uid_	Pod の一意の識別子 (UID)。

トラブルシューティング FAQ

複数宛先配信設定を管理するにはどうすればよいですか？

複数宛先配信設定は複数の Logstore に関連付けられているため、これらの設定はプロジェクトレベルの管理ページで維持する必要があります：

1. [Simple Log Service コンソール]にログインし、対象のプロジェクト名をクリックします。

2. ターゲットプロジェクトの左側のナビゲーションウィンドウで、[リソース] > [設定管理] をクリックします。

   説明

   このページでは、誤って Logstore が削除された後に残ったものを含め、プロジェクト下のすべての収集設定を一元管理できます。

ACK クラスターのログを別の Alibaba Cloud アカウントのプロジェクトに送信するにはどうすればよいですか？

ACK クラスターに Simple Log Service の LoongCollector (Logtail) コンポーネントを手動でインストールし、宛先アカウントの Alibaba Cloud アカウント ID またはアクセス認証情報 (AccessKey) で設定できます。これにより、コンテナログを別の Alibaba Cloud アカウントに属する Simple Log Service プロジェクトに送信できます。

シナリオ：組織構造、権限の隔離、または統一された監視などの理由で、ACK クラスターからログデータを収集し、別の Alibaba Cloud アカウントに属する Simple Log Service プロジェクトに送信する必要がある場合があります。これは、クロスアカウント設定のために LoongCollector (Logtail) を手動でインストールすることで実現できます。

手順：このセクションでは、LoongCollector の手動インストールを例として使用します。Logtail のインストール方法の詳細については、「Logtail のインストールと設定」をご参照ください。

1. Kubernetes クラスターに接続し、クラスターのリージョンに応じたコマンドを実行します：

   中国リージョン

   wget https://aliyun-observability-release-cn-shanghai.oss-cn-shanghai.aliyuncs.com/loongcollector/k8s-custom-pkg/3.0.12/loongcollector-custom-k8s-package.tgz; tar xvf loongcollector-custom-k8s-package.tgz; chmod 744 ./loongcollector-custom-k8s-package/k8s-custom-install.sh

   中国以外のリージョン

   wget https://aliyun-observability-release-ap-southeast-1.oss-ap-southeast-1.aliyuncs.com/loongcollector/k8s-custom-pkg/3.0.12/loongcollector-custom-k8s-package.tgz; tar xvf loongcollector-custom-k8s-package.tgz; chmod 744 ./loongcollector-custom-k8s-package/k8s-custom-install.sh

2. loongcollector-custom-k8s-package ディレクトリに移動し、./loongcollector/values.yaml 設定ファイルを変更します。

   # ===================== 必須情報 =====================
   # このクラスターからログを収集するプロジェクトの名前 (例: k8s-log-custom-sd89ehdq)
   projectName: ""
   # プロジェクトのリージョン (例: 上海: cn-shanghai)
   region: ""
   # プロジェクトを所有する Alibaba Cloud アカウントの UID。引用符で囲んでください (例: "123456789")
   aliUid: ""
   # 使用するネットワーク。オプションのパラメーター: Internet, Intranet。デフォルトは Internet です。
   net: Internet
   # Alibaba Cloud アカウントまたは RAM ユーザーの AccessKey ID と AccessKey Secret。アカウントには AliyunLogFullAccess システムポリシー権限が必要です。
   accessKeyID: ""
   accessKeySecret: ""
   # カスタムクラスター ID。名前には大文字、小文字、数字、ハイフン (-) のみを含めることができます。
   clusterID: ""

3. loongcollector-custom-k8s-package ディレクトリで、次のコマンドを実行して LoongCollector とその依存コンポーネントをインストールします：

   bash k8s-custom-install.sh install

4. インストールが完了したら、コンポーネントの実行状態を確認します。

   Pod の起動に失敗した場合は、values.yaml の設定が正しいか、関連するイメージが正常にプルされたかを確認してください。

   # Pod の状態を確認
   kubectl get po -n kube-system | grep loongcollector-ds

   同時に、Simple Log Service は以下のリソースを自動的に作成します。Simple Log Service コンソールにログインして表示できます。

   リソースタイプ	リソース名	機能
   プロジェクト	values.yaml ファイルで定義された projectName の値	異なるサービスのログを隔離するリソース管理ユニットです。 より柔軟なログリソース管理のためにプロジェクトを作成するには、「プロジェクトの作成」をご参照ください。
   マシングループ	k8s-group-${cluster_id}	ログ収集ノードのコレクションです。
   Logstore	config-operation-log 重要 この Logstore は削除しないでください。	loongcollector-operator コンポーネントのログを保存します。その課金方法は通常の Logstore と同じです。詳細については、「取り込みデータ量に応じた支払い方法の課金項目」をご参照ください。この Logstore に収集設定を作成しないでください。

同じファイルまたはコンテナの標準出力を複数の収集設定で収集するにはどうすればよいですか？

デフォルトでは、データの重複を防ぐため、Simple Log Service は各ログソースが 1 つの収集設定でのみ収集されることを許可しています：

• テキストログファイルは、1 つの Logtail 収集設定にのみ一致できます。

• コンテナの標準出力 (stdout)：

  • 標準出力テンプレートの新バージョンを使用する場合、標準出力はデフォルトで 1 つの標準出力収集設定でのみ収集できます。

  • 標準出力テンプレートの旧バージョンを使用する場合、追加の設定は不要です。デフォルトで複数の収集をサポートしています。

1. Simple Log Service コンソールにログインし、ターゲットプロジェクトに移動します。

2. 左側のナビゲーションウィンドウで、[Logstores] を選択し、ターゲットの Logstore を見つけます。

3. その名前の前にある アイコンをクリックして Logstore を展開します。

4. [Logtail 設定] をクリックします。設定リストで、ターゲットの Logtail 設定を見つけ、[操作] 列の [Logtail 設定の管理] をクリックします。

5. Logtail 設定ページで、[編集] をクリックし、[入力設定] セクションまでスクロールします：

   • テキストファイルログを収集する場合：[ファイルの複数回収集を許可] を有効にします。

   • コンテナの標準出力を収集する場合、[標準出力の複数回収集を許可] を有効にします。

ACK で loongcollector(logtail-ds) コンポーネントをアンインストールする際に依存関係エラーが発生するのはなぜですか？

問題：ACK で loongcollector (logtail-ds) ログ収集コンポーネントを削除しようとすると、システムがエラーを報告します：`このコンポーネントの依存関係が満たされていません`。

Dependencies of addons are not met: terway-eniip depends on logtail-ds(>0.0) whose version is v3.x.x.x-aliyun or will be v3.x.x.x-aliyun.

原因：terway-eniip ネットワークプラグインでログ収集機能が有効になっており、これが loongcollector (logtail-ds) コンポーネントに依存しています。そのため、この依存関係を削除する前に ACK が loongcollector (logtail-ds) を直接アンインストールすることを許可しません。

ソリューション：以下の手順に従って依存関係を削除し、コンポーネントをアンインストールします：

1. ACK コンソールにログインします。

2. クラスターリストで、ターゲットクラスターの名前をクリックします。

3. 左側のナビゲーションウィンドウで、[コンポーネント管理] をクリックします。

4. コンポーネントリストで、terway-eniip コンポーネントを検索して見つけ、 > [ロギングを無効にする] をクリックします。

5. 表示されるダイアログボックスで、[確認] をクリックします。

6. 設定が有効になった後、loongcollector (logtail-ds) コンポーネントを再度アンインストールしてみてください。

最後のログエントリが長い遅延の後に報告されるのはなぜですか？なぜ時々切り捨てられるのですか？

原因：ログファイルが末尾に改行がない場合、または例外スタックのような複数行のログが完全に書き込まれていない場合、ログは通常切り捨てられます。コレクターはログが終了したかどうかを判断できないため、コンテンツの最後の部分が時期尚早に分割されたり、遅延して報告されたりする可能性があります。処理メカニズムは LoongCollector (Logtail) のバージョンによって異なります：

• 1.8 より前のバージョン：
  ログの最後の行に改行がない場合、または複数行のログ段落が終了していない場合、コレクターは次の書き込みが出力をトリガーするのを待ちます。これにより、最後のログエントリが新しいログが書き込まれるまで長時間送信されずに保持される可能性があります。
  
  
  
  

• バージョン 1.8 以降：
  ログがスタックするのを防ぐために、タイムアウトリフレッシュメカニズムが導入されました。不完全なログ行が検出されると、システムはタイマーを開始します。タイムアウト期間が終了すると、現在のコンテンツが自動的に送信され、ログが最終的に収集されることが保証されます。
  
  
  
  

  • デフォルトのタイムアウト：60 秒。これにより、ほとんどのシナリオで完全性が保証されます。

  • この値は必要に応じて調整できますが、0 に設定しないでください。これにより、ログが切り捨てられたり、部分的に失われたりする可能性があります。

ソリューション：

待機時間を延長して、収集される前に完全なログが書き込まれるようにすることができます：

1. Simple Log Service コンソールにログインし、ターゲットプロジェクトに移動します。

2. 左側のナビゲーションウィンドウで、[Logstores] を選択し、ターゲットの Logstore を見つけます。

3. その名前の前にある アイコンをクリックして Logstore を展開します。

4. [Logtail 設定] をクリックします。設定リストで、ターゲットの Logtail 設定を見つけ、[操作] 列の [Logtail 設定の管理] をクリックします。

5. Logtail 設定ページで、[編集] をクリックします：

   • [入力設定] > [その他の入力設定] > [高度なパラメーター] を選択します。タイムアウト期間をカスタマイズするために、以下の JSON 設定を追加します。

     {
       "FlushTimeoutSecs": 1
     }

     • デフォルト値：起動パラメーター default_reader_flush_timeout によって決定され、通常は数秒です。

     • 単位：秒。

     • 推奨値：≥1 秒。0 に設定しないでください。これにより、ログが切り捨てられたり、部分的に失われたりする可能性があります。

6. 設定後、[保存] をクリックします。

LoongCollector (Logtail) が運用中に内部エンドポイントからパブリックエンドポイントに切り替わるのはなぜですか？自動的に元に戻りますか？

LoongCollector (Logtail) がネットワーク障害や接続タイムアウトなど、内部エンドポイント通信の異常を検出した場合、システムは自動的にパブリックエンドポイントに切り替えてデータ転送を行います。これにより、ログ収集の継続性と信頼性が確保され、ログの蓄積や損失が防止されます。

• LoongCollector：ネットワークが復旧した後、自動的に内部ネットワークに戻ります。

• Logtail：自動的には戻りません。内部ネットワーク通信を再開するには、手動で再起動する必要があります。

[Logtail 設定] ページの [プロセッサー設定] セクションで、プロセッサーを追加して生ログを構造化します。既存の収集設定に処理プラグインを追加するには、以下の手順に従ってください：

1. 左側のナビゲーションウィンドウで、[Logstores] を選択し、ターゲットの Logstore を見つけます。

2. その名前の前にある アイコンをクリックして Logstore を展開します。

3. [Logtail 設定] をクリックします。設定リストで、ターゲットの Logtail 設定を見つけ、[操作] 列の [Logtail 設定の管理] をクリックします。

4. Logtail 設定ページで、[編集] をクリックします。

このセクションでは、一般的なログ処理のユースケースをカバーする、一般的に使用される処理プラグインのみを紹介します。その他の機能については、「拡張プロセッサー」をご参照ください。

デリミタベースの解析

05/May/2025:13:30:28,10.10.*.*,"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1",200,18204,aliyun-sdk-java

ip:10.10.*.*
request:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1
size:18204
status:200
time:05/May/2025:13:30:28
user_agent:aliyun-sdk-java

標準 JSON 解析

{"url": "POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek********&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1", "ip": "10.200.98.220", "user-agent": "aliyun-sdk-java", "request": {"status": "200", "latency": "18204"}, "time": "05/Jan/2025:13:30:28"}

ip: 10.200.98.220
request: {"status": "200", "latency" : "18204" }
time: 05/Jan/2025:13:30:28
url: POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek******&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1
user-agent:aliyun-sdk-java

ネストされた JSON 解析

{"s_key":{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}}

0_s_key_k1_k2_k3_k41:41
0_s_key_k1_k2_k3_k4_k51:51
0_s_key_k1_k2_k3_k4_k52:52

1_s_key:{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}

JSON 配列解析

[{"key1":"value1"},{"key2":"value2"}]

json1:{"key1":"value1"}
json2:{"key2":"value2"}

* | extend json1 = json_extract(content, '$[0]'), json2 = json_extract(content, '$[1]')

Apache ログ解析

1 192.168.1.10 - - [08/May/2024:15:30:28 +0800] "GET /index.html HTTP/1.1" 200 1234 "https://www.example.com/referrer" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36"

http_referer:https://www.example.com/referrer
http_user_agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36
remote_addr:192.168.1.10
remote_ident:-
remote_user:-
request_method:GET
request_protocol:HTTP/1.1
request_uri:/index.html
response_size_bytes:1234
status:200
time_local:[08/May/2024:15:30:28 +0800]

データマスキング

ログ内の機密データをマスキングできます。

例：

[{'account':'1812213231432969','password':'04a23f38'}, {'account':'1812213685634','password':'123a'}]

[{'account':'1812213231432969','password':'********'}, {'account':'1812213685634','password':'********'}]

手順：[Logtail 設定] ページの [プロセッサー設定] セクションで、[プロセッサーを追加] をクリックし、[ネイティブプロセッサー] > [データマスキング] を選択します：

• [元のフィールド]：解析前のログコンテンツを保存するために使用されるフィールド。

• [データマスキング方法]：

  • const: 機密コンテンツを指定された文字列に置き換えます。

  • [md5]：機密コンテンツを対応する MD5 ハッシュに置き換えます。

• [置換文字列]：[データマスキング方法] を [const] に設定した場合、機密コンテンツを置き換える文字列を入力する必要があります。

• [置換されるコンテンツの前のコンテンツ表現]：機密コンテンツを見つけるために使用され、RE2 構文を使用して設定されます。

• [置換されるコンテンツの表現]：機密コンテンツの表現で、RE2 構文を使用して設定されます。

1. 名前付きグループ構文の違い

Go は名前付きグループを定義するために (?P<name>...) 構文を使用し、PCRE の (?<name>...) 構文はサポートしていません。

• 正しい：(?P<year>\d{4})

• 誤り：(?<year>\d{4})

2. サポートされていない正規表現機能

以下の一般的で複雑な正規表現機能は RE2 ではサポートされていません。これらは使用しないでください：

• アサーション：(?=...)、(?!...)、(?<=...)、または (?<!...)

• 条件式：(?(condition)true|false)

• 再帰的マッチング：(?R) または (?0)

• サブルーチン参照：(?&name) または (?P>name)

• アトミックグループ：(?>...)

3. 推奨事項

Regex101 などのツールを使用して正規表現をデバッグします。互換性を検証するには、Golang (RE2) モードを選択します。プラグインは、サポートされていない構文を含む式を解析または一致させることはできません。