Simple Log Service:コンソールからのクラスターのコンテナログ収集

1. グローバル設定と入力設定

開始する前に、データ収集テンプレートを選択し、マシン グループに適用していることを確認してください。このステップでは、収集設定名、ログソース、および範囲を定義します。

収集ログの表示

1. ログファイルへの新規ログ書き込みの確認：LoongCollector は増分ログのみを収集します。tail -f /path/to/your/log/file コマンドを実行し、サービス操作をトリガーして新しいログを生成します。

2. ログのクエリ：ターゲット Logstore のクエリと分析ページに移動し、検索と分析 をクリックします。デフォルトの時間範囲は過去 15 分間です。新しいログを確認します。デフォルトでは、収集された各コンテナテキストログには次のフィールドが含まれます：

   フィールド名	説明
   __tag__:__hostname__	コンテナホストの名前。
   __tag__:__path__	コンテナ内のログファイルのパス。
   __tag__:_container_ip_	コンテナの IP アドレス。
   __tag__:_image_name_	コンテナが使用するイメージの名前。
   __tag__:_pod_name_	Pod の名前。
   __tag__:_namespace_	Pod の名前空間。
   __tag__:_pod_uid_	Pod の一意の識別子 (UID)。

一般的な問題のトラブルシューティング

複数宛先への分配設定の管理

複数宛先への分配設定は複数の Logstore に関連付けられているため、プロジェクトレベルの管理ページで管理する必要があります。

1. Simple Log Service (SLS) コンソールにログインし、対象のプロジェクト名をクリックします。

2. プロジェクトページで、左側メニューで リソースグループ > 設定の管理 をクリックします。

   説明

   このページでは、誤って削除された Logstore の残存設定を含め、プロジェクト内のすべての収集設定を一元的に管理します。

ACK クラスターのログを別アカウントに転送

ACK クラスターに LoongCollector (Logtail) コンポーネントを手動でインストールし、対象アカウントの Alibaba Cloud アカウント ID またはアクセス認証情報 (AccessKey) を使用して設定することで、別の Alibaba Cloud アカウントの SLS プロジェクトにコンテナログを送信できます。

シナリオ：組織構造、権限分離、集中モニタリングなどの理由により、ACK クラスターのログデータを別の Alibaba Cloud アカウントの SLS プロジェクトに収集する場合は、LoongCollector (Logtail) を手動でインストールしてクロスアカウント収集を有効にします。

手順：次の手順に従って LoongCollector を手動でインストールします。詳細については、「Install and configure Logtail」をご参照ください。

1. Kubernetes クラスターに接続し、クラスターのリージョンに対応するコマンドを実行します。

   中国本土リージョン

   wget https://aliyun-observability-release-cn-shanghai.oss-cn-shanghai.aliyuncs.com/loongcollector/k8s-custom-pkg/3.0.12/loongcollector-custom-k8s-package.tgz; tar xvf loongcollector-custom-k8s-package.tgz; chmod 744 ./loongcollector-custom-k8s-package/k8s-custom-install.sh

   中国以外のリージョン

   wget https://aliyun-observability-release-ap-southeast-1.oss-ap-southeast-1.aliyuncs.com/loongcollector/k8s-custom-pkg/3.0.12/loongcollector-custom-k8s-package.tgz; tar xvf loongcollector-custom-k8s-package.tgz; chmod 744 ./loongcollector-custom-k8s-package/k8s-custom-install.sh

2. loongcollector-custom-k8s-package ディレクトリに移動し、./loongcollector/values.yaml 設定ファイルを変更します。

   # ===================== 必須情報 =====================
   # このクラスターから収集されたログが格納されるプロジェクト。例： k8s-log-custom-sd89ehdq
   projectName: ""
   # プロジェクトが配置されているリージョン。例： cn-shanghai
   region: ""
   # プロジェクトを所有する Alibaba Cloud アカウントの ID。ID は引用符 ("") で囲みます。例： "123456789"
   aliUid: ""
   # ネットワークタイプ。有効な値： Internet および Intranet。デフォルト値： Internet。
   net: Internet
   # Alibaba Cloud アカウントまたは RAM ユーザーの AccessKey ID と AccessKey secret。AliyunLogFullAccess ポリシーが必要です。
   accessKeyID: ""
   accessKeySecret: ""
   # カスタムクラスター ID。ID には、大文字、小文字、数字、ハイフン (-) のみを使用できます。
   clusterID: ""

3. loongcollector-custom-k8s-package ディレクトリで、LoongCollector とその依存関係をインストールするには、次のコマンドを実行します。

   bash k8s-custom-install.sh install

4. インストールが完了したら、コンポーネントのステータスを確認します。

   ポッドの起動に失敗した場合は、values.yaml ファイルの設定内容と、必要なイメージがプルされていることを確認してください。

   # ポッドのステータスを確認
   kubectl get po -n kube-system | grep loongcollector-ds

   SLS は、次のリソースも自動的に作成します。これらは SLS コンソールで表示できます。

   タイプ	パラメーター	説明
   プロジェクト	values.yaml ファイルで定義された projectName の値	異なるサービスからのログを分離するリソース管理ユニットです。 より柔軟なログリソース管理のためにプロジェクトを作成するには、「プロジェクトの作成」 をご参照ください。
   マシングループ	k8s-group-${clusterID}	ログ収集ノードのセットです。

   重要

   LoongCollector コンポーネントは、config-operation-log という名前の Logstore を作成しません。この Logstore がすでに存在する場合、LoongCollector は新しいログを書き込みません。

単一ソースに対する複数設定

デフォルトでは、SLS はデータの重複を防ぐため、ログソースごとに 1 つの収集設定のみを使用します：

• 各テキストログファイルに一致する Logtail の収集設定は 1 つだけです。

• コンテナの標準出力 (stdout) の場合：

  • 新しい標準出力テンプレートを使用する場合、デフォルトでは stdout を収集できる収集設定は 1 つだけです。

  • 従来の標準出力テンプレートは、追加設定なしでデフォルトで複数収集をサポートします。

1. SLS コンソールにログインし、対象のプロジェクトに移動します。

2. 左側メニューで Logstores をクリックし、対象の Logstore を見つけます。

3. Logstore 名の横にある アイコンをクリックして、詳細を展開します。

4. Logtail構成 をクリックし、設定リストで対象の Logtail 設定を見つけ、Logtail構成 列の Logtail 設定の管理 をクリックします。

5. 設定ページで 編集 をクリックし、入力設定 セクションまでスクロールします。

   • テキストファイルログの場合は、ファイルを複数回収集できるようにする を有効にします。

   • コンテナの標準出力の場合は、標準出力の複数回の収集を許可する を有効にします。

アンインストール時の依存関係エラー

症状：Container Service for Kubernetes (ACK) で loongcollector (logtail-ds) ログ収集コンポーネントをアンインストールしようとすると、次のエラーが表示されます：

Dependencies of addons are not met: terway-eniip depends on logtail-ds(>0.0) whose version is v3.x.x.x-aliyun or will be v3.x.x.x-aliyun

原因：このエラーは、terway-eniip ネットワークプラグインのログ収集機能によって、loongcollector (logtail-ds) コンポーネントへの依存関係が作成されるためです。そのため、ACK はこの依存関係が解消されるまでアンインストールをブロックします。

解決策：コンポーネントをアンインストールする前に、次の手順に従って依存関係を削除します：

1. ACK コンソールにログインします。

2. クラスター一覧で、対象のクラスター名をクリックします。

3. 左側メニューで アドオン管理 をクリックします。

4. [Add-ons] ページで terway-eniip コンポーネントを見つけ、ログを閉じる をクリックします。

5. 表示される確認ダイアログボックスで、OK をクリックします。

6. 設定が適用されたら、loongcollector (logtail-ds) コンポーネントのアンインストールを再度試してください。

最後のログエントリの遅延または切り捨て

分析：ログの切り捨ては、ログファイルの最終行に改行文字がない場合、または例外スタックなどの複数行ログエントリが不完全な場合に発生することがよくあります。これは、コレクターがログエントリの完了を判断できないため、最後のセグメントが早期に分割されたり、遅延して報告されたりする可能性があるためです。処理メカニズムは LoongCollector (Logtail) のバージョンによって異なります：

• 1.8 より前のバージョン：
  ログの最終行に改行 (または復帰) がない場合、または複数行ログが不完全な場合、コレクターは次の書き込み操作で出力がトリガーされるのを待機します。これにより、新しいログが書き込まれるまで最後のログエントリが長時間保持される可能性があります。
  
  
  
  
  
  
  
  

• 1.8 以降のバージョン：
  これらのバージョンでは、ログが無期限に保持されるのを防ぐためにタイムアウトフラッシュ機構が導入されています。コレクターが不完全なログ行を検出するとタイマーが開始され、タイムアウト後に現在のバッファが自動的に送信されることで、最終的にログが収集されます。
  
  
  
  
  
  
  
  

  • デフォルトのタイムアウト：通常は数秒です (ほとんどのシナリオでログの整合性を確保します)。

  • 必要に応じてこの値を調整できますが、0 には設定しないでください。0 に設定すると、ログの切り捨てや部分的なデータ損失が発生する可能性があります。

解決策：

タイムアウト期間を延長することで、ログが完全に書き込まれてから収集されるように設定できます。

1. SLS コンソールにログインし、対象のプロジェクトに移動します。

2. 左側メニューで Logstores をクリックし、対象の Logstore を見つけます。

3. Logstore 名の横にある アイコンをクリックして、詳細を展開します。

4. Logtail構成 をクリックし、設定リストで対象の Logtail 設定を見つけ、Logtail構成 列の Logtail 設定の管理 をクリックします。

5. 設定ページで 編集 をクリックします。

   • 入力設定 > その他の入力設定 > 高度なパラメーター に移動し、次の JSON 設定を追加してタイムアウト期間をカスタマイズします。

     {
       "FlushTimeoutSecs": 1
     }

     • デフォルト値：起動パラメーター default_reader_flush_timeout によって決まります。通常は数秒です。

     • 単位：秒。

     • 推奨値：1 以上。0 に設定しないでください。ログの切り捨てや部分的なデータ損失が発生する可能性があります。

6. 設定が完了したら、OK をクリックします。

ネットワークエンドポイントのフェールオーバー

LoongCollector (Logtail) がネットワーク障害や接続タイムアウトなど、内部ネットワークで通信異常を検知した場合、データ転送のためにパブリックネットワークエンドポイントへ自動的にフェールオーバーします。これにより、ログ収集の継続性と信頼性を確保し、ログの滞留やデータ損失を防止できます。

• LoongCollector：接続が復旧すると、内部ネットワークに自動的に切り戻します。

• Logtail：自動的に切り戻しません。内部ネットワークでの通信を再開するには、コンポーネントを手動で再起動する必要があります。

プロセッサ設定 セクションの Logtail 構成 ページで、プロセッサを追加して生ログを構造化します。既存の収集設定に処理プラグインを追加するには、以下の手順に従います。

1. 左側のナビゲーションウィンドウで、Logstores を選択し、対象の Logstore を検索します。

2. その名前の前にある アイコンをクリックして Logstore を展開します。

3. Logtail 構成 をクリックします。構成リストで対象の Logtail 構成を見つけ、アクション列の Logtail 構成の管理 をクリックします。

4. Logtail 構成ページで、編集 をクリックします。

このセクションでは、一般的なログ処理ユースケースをカバーする、よく使用される処理プラグインのみを紹介します。その他の機能については、「拡張プロセッサ」をご参照ください。

データ解析 (区切り文字モード)

05/May/2025:13:30:28,10.10.*.*,"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1",200,18204,aliyun-sdk-java

ip:10.10.*.*
request:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1
size:18204
status:200
time:05/May/2025:13:30:28
user_agent:aliyun-sdk-java

データ解析 (JSON モード)

{"url": "POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek********&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1", "ip": "10.200.98.220", "user-agent": "aliyun-sdk-java", "request": {"status": "200", "latency": "18204"}, "time": "05/Jan/2025:13:30:28"}

ip: 10.200.98.220
request: {"status": "200", "latency" : "18204" }
time: 05/Jan/2025:13:30:28
url: POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek******&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1
user-agent:aliyun-sdk-java

Expand JSON field

{"s_key":{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}}

0_s_key_k1_k2_k3_k41:41
0_s_key_k1_k2_k3_k4_k51:51
0_s_key_k1_k2_k3_k4_k52:52

1_s_key:{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}

JSON 配列の解析

[{"key1":"value1"},{"key2":"value2"}]

json1:{"key1":"value1"}
json2:{"key2":"value2"}

* | extend json1 = json_extract(content, '$[0]'), json2 = json_extract(content, '$[1]')

データ解析 (Apache モード)

1 192.168.1.10 - - [08/May/2024:15:30:28 +0800] "GET /index.html HTTP/1.1" 200 1234 "https://www.example.com/referrer" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36"

http_referer:https://www.example.com/referrer
http_user_agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36
remote_addr:192.168.1.10
remote_ident:-
remote_user:-
request_method:GET
request_protocol:HTTP/1.1
request_uri:/index.html
response_size_bytes:1234
status:200
time_local:[08/May/2024:15:30:28 +0800]

データマスキング

ログ内の機密データをマスクします。

例：

[{'account':'1812213231432969','password':'04a23f38'}, {'account':'1812213685634','password':'123a'}]

[{'account':'1812213231432969','password':'********'}, {'account':'1812213685634','password':'********'}]

手順：Logtail構成 ページで、設定の処理 セクションで 処理プラグインの追加 をクリックし、次に ネイティブ処理プラグイン > データマスキング処理 を選択します：

• [元のフィールド]：マスキング対象の内容が含まれるフィールドです。

• [マスキング方法]：

  • const：機密コンテンツを指定の文字列に置き換えます。

  • md5：機密コンテンツをその MD5 ハッシュ値に置き換えます。

• [文字列の置き換え]: マスキング方法 を const に設定した場合、機密コンテンツを置換する文字列を入力する必要があります。

• [置き換えられたコンテンツより前のコンテンツの式]：機密データの直前のコンテンツに一致する正規表現です。この式ではRE2 構文を使用します。

• [置き換えられたコンテンツの式]: 機密コンテンツに一致する正規表現です。この式は RE2 構文を使用します。

1. 名前付きグループの構文の違い

Go は、名前付きグループには (?P<name>...) 構文を使用し、PCRE で使用される (?<name>...) 構文はサポートしていません。

• 正しい: (?P<year>\d{4})

• 誤り: (?<year>\d{4})

2. サポートされていない正規表現機能

RE2 は、一般的ですが複雑な以下の正規表現機能をサポートしていません。これらの使用は避けてください。

• アサーション： (?=...)、(?!...)、(?<=...)、または (?<!...)

• 条件式： (?(condition)true|false)

• 再帰マッチング： (?R) または (?0)

• サブプログラム参照： (?&name) または (?P>name)

• アトミックグループ： (?>...)

3. 推奨事項

正規表現をデバッグするには、Regex101 などのツールを使用してください。互換性を確保するために、検証時には Golang (RE2) モードを選択してください。サポートされていない構文を使用した正規表現の場合、プラグインは解析や一致検索に失敗します。