Container Service for Kubernetes:コンソールを使用して Kubernetes クラスターからコンテナログ (標準出力/標準エラーまたはファイル) を収集

1. グローバル設定と入力設定

設定する前に、データ取り込みテンプレートを選択し、マシングループをバインドしていることを確認してください。このステップでは、収集設定名、ログソース、および収集範囲を定義します。

レポートされたログの表示

1. ログファイルに新しいコンテンツが追加されたことを確認する：LoongCollector は増分ログのみを収集します。tail -f /path/to/your/log/file コマンドを実行し、ビジネス操作をトリガーして、新しいログが書き込まれていることを確認します。

2. ログのクエリ：宛先の Logstore のクエリと分析ページに移動します。検索と分析 をクリックします。デフォルトの時間範囲は過去 15 分です。新しいログが取り込まれているかどうかを確認します。デフォルトでは、収集された各コンテナテキストログには以下のフィールドが含まれます：

   フィールド名	説明
   __tag__:__hostname__	コンテナのホスト名。
   __tag__:__path__	コンテナ内のログファイルのパス。
   __tag__:_container_ip_	コンテナの IP アドレス。
   __tag__:_image_name_	コンテナが使用するイメージの名前。
   __tag__:_pod_name_	Pod の名前。
   __tag__:_namespace_	Pod が属する名前空間。
   __tag__:_pod_uid_	Pod の一意の識別子 (UID)。

一般的な問題のトラブルシューティング

複数送信先配信設定の管理

複数送信先配信設定は複数の Logstore に関連付けられているため、これらの設定はプロジェクトレベルの管理ページで管理します：

1. Simple Log Service コンソールにログインします。その後、対象のプロジェクト名をクリックします。

2. 対象のプロジェクトページで、左側のナビゲーションウィンドウにある リソースグループ > 設定の管理 をクリックします。

   説明

   このページでは、Logstore が誤って削除されたために残っているものを含め、プロジェクト配下のすべての収集設定を一元管理します。

ACK クラスターのログを別の Alibaba Cloud アカウントのプロジェクトに転送する

ACK クラスターに Simple Log Service の LoongCollector (Logtail) コンポーネントを手動でインストールします。その後、宛先アカウントのルートアカウント ID またはアクセス認証情報 (AccessKey) を設定します。これにより、コンテナログが別の Alibaba Cloud アカウントの Simple Log Service プロジェクトに送信されます。

シナリオ：組織構造、権限の隔離、または統一されたモニタリング要件により、ACK クラスターからのログデータを別の Alibaba Cloud アカウントの独立した Simple Log Service プロジェクトに収集する必要がある場合、クロスアカウント設定のために LoongCollector (Logtail) を手動でインストールします。

プロシージャ：このプロシージャでは、LoongCollector の手動インストールを例として使用します。Logtail のインストール方法については、「Logtail のインストールと設定」をご参照ください。

1. Kubernetes クラスターに接続し、リージョンに基づいて対応するコマンドを実行します：

   中国国内のリージョン

   wget https://aliyun-observability-release-cn-shanghai.oss-cn-shanghai.aliyuncs.com/loongcollector/k8s-custom-pkg/3.0.12/loongcollector-custom-k8s-package.tgz; tar xvf loongcollector-custom-k8s-package.tgz; chmod 744 ./loongcollector-custom-k8s-package/k8s-custom-install.sh

   中国以外のリージョン

   wget https://aliyun-observability-release-ap-southeast-1.oss-ap-southeast-1.aliyuncs.com/loongcollector/k8s-custom-pkg/3.0.12/loongcollector-custom-k8s-package.tgz; tar xvf loongcollector-custom-k8s-package.tgz; chmod 744 ./loongcollector-custom-k8s-package/k8s-custom-install.sh

2. loongcollector-custom-k8s-package ディレクトリに移動し、設定ファイル ./loongcollector/values.yaml を変更します。

   # ===================== 必須フィールド =====================
   # このクラスターのプロジェクト名 (例: k8s-log-custom-sd89ehdq)
   projectName: ""
   # プロジェクトのリージョン (例: 上海の場合は cn-shanghai)
   region: ""
   # プロジェクト所有者の Alibaba Cloud アカウント ID。引用符で囲んでください (例: "123456789")
   aliUid: ""
   # ネットワークタイプ。有効な値: Internet (パブリックネットワーク) と Intranet (プライベートネットワーク)。デフォルト値: Internet。
   net: Internet
   # Alibaba Cloud アカウントまたは RAM ユーザーの AccessKey ID と AccessKey Secret。アカウントには AliyunLogFullAccess システム権限ポリシーが必要です。
   accessKeyID: ""
   accessKeySecret: ""
   # カスタムクラスター ID。文字、数字、ハイフン (-) のみ使用できます。
   clusterID: ""

3. loongcollector-custom-k8s-package ディレクトリで、次のコマンドを実行して LoongCollector とその依存関係をインストールします：

   bash k8s-custom-install.sh install

4. インストール後、コンポーネントのステータスを確認します。

   Pod の起動に失敗した場合は、values.yaml の設定が正しいこと、および関連するイメージが正常にプルされていることを確認してください。

   # Pod のステータスを確認
   kubectl get po -n kube-system | grep loongcollector-ds

   Simple Log Service は、以下のリソースも自動的に作成します。これらは Simple Log Service コンソールで確認できます。

   リソースタイプ	リソース名	目的
   プロジェクト	values.yaml ファイルの projectName の値	異なるビジネスのログを分離するリソース管理ユニット。 より柔軟なログリソース管理のために独自のプロジェクトを作成するには、「プロジェクトの作成」をご参照ください。
   マシングループ	k8s-group-${cluster_id}	ログ収集ノードのコレクション。
   Logstore	config-operation-log 重要 この Logstore は削除しないでください。	loongcollector-operator コンポーネントからのログを保存します。標準の Logstore と同じ課金方法を使用します。詳細については、「取り込みデータ量課金方式の課金項目」をご参照ください。この Logstore に収集設定を作成しないことを推奨します。

複数の収集設定で同じログファイルまたはコンテナ標準出力を収集できるようにする

デフォルトでは、データの重複を防ぐため、Simple Log Service は各ログソースが 1 つの収集設定によってのみ収集されるように制限しています：

• テキストログファイルは、1 つの Logtail 収集設定にのみ一致できます。

• コンテナの標準出力 (stdout)：

  • 新しい標準出力テンプレートを使用する場合、デフォルトでは 1 つの標準出力収集設定のみが収集できます。

  • 古い標準出力テンプレートを使用する場合、追加の設定は不要です。デフォルトで複数のコピーを収集することをサポートしています。

1. Simple Log Service コンソールにログインします。対象のプロジェクトに移動します。

2. 左側のナビゲーションウィンドウで、[Logstores] を選択します。対象の Logstore を見つけます。

3. その名前の前にある をクリックして Logstore を展開します。

4. Logtail構成 をクリックします。設定リストで、対象の Logtail 構成を見つけます。次に、[操作] 列の Logtail 設定の管理 をクリックします。

5. [Logtail 構成] ページで、編集 をクリックします。入力設定 セクションまでスクロールします：

   • テキストファイルログを収集するには、ファイルを複数回収集できるようにする を有効にします。

   • コンテナ標準出力を収集するには、標準出力の複数回の収集を許可する を有効にします。

ACK で loongcollector (logtail-ds) コンポーネントをアンインストールする際の依存関係エラー

問題の説明：Container Service for Kubernetes (ACK) で loongcollector (logtail-ds) ログ収集コンポーネントを削除しようとすると、システムがエラーを報告します：このコンポーネントの依存関係が満たされていません。

Dependencies of addons are not met: terway-eniip depends on logtail-ds(>0.0) whose version is v3.x.x.x-aliyun or will be v3.x.x.x-aliyun.

原因：terway-eniip ネットワークプラグインはログ収集機能を有効にしています。これは loongcollector (logtail-ds) コンポーネントに依存しています。そのため、ACK はこの依存関係を削除する前に loongcollector (logtail-ds) を直接アンインストールすることを許可しません。

ソリューション：次の手順に従って依存関係を削除し、コンポーネントをアンインストールします：

1. Container Service for Kubernetes コンソールにログインします。

2. クラスターリストで、対象のクラスターの名前をクリックします。クラスター詳細ページに移動します。

3. 左側のナビゲーションウィンドウで、アドオン管理 をクリックします。

4. コンポーネントリストで、terway-eniip コンポーネントを検索して見つけます。ログを閉じる をクリックします。

5. 表示されるダイアログボックスで、OK をクリックします。

6. 設定が有効になった後、loongcollector (logtail-ds) コンポーネントを再度アンインストールしてみてください。

最後のログセグメントが長い遅延で報告され、時々切り捨てられるのはなぜですか？

原因分析：ログの切り捨ては通常、ログファイルの末尾に改行がない場合や、複数行のログ (例外スタックなど) が完全に書き込まれていない場合に発生します。データコレクターはログが終了したかどうかを判断できないため、最後のコンテンツセグメントが途中でチャンクされたり、遅れて報告されたりする可能性があります。LoongCollector (Logtail) のバージョンによって処理メカニズムが異なります：

• 1.8 より前のバージョン：
  最後のログ行に改行 (キャリッジリターン) がない場合や、複数行のログセグメントが不完全な場合、データコレクターは次の書き込みを待って出力をトリガーします。これにより、新しいログが書き込まれるまで最後のログエントリが長時間送信されないことがあります。
  
  
  
  
  
  
  
  

• バージョン 1.8 以降：
  ログが滞留するのを防ぐために、タイムアウトリフレッシュメカニズムが導入されています。不完全なログ行が検出されると、システムはタイマーを開始します。タイムアウト後、現在のコンテンツを自動的に送信して、ログが最終的に収集されるようにします。
  
  
  
  
  
  
  
  

  • デフォルトのタイムアウト：60 秒 (ほとんどのシナリオで完全性を保証)

  • 必要に応じてこの値を調整してください。ただし、0 に設定しないでください。そうしないと、ログが切り捨てられたり、一部のコンテンツが失われたりする可能性があります。

ソリューション：

待機時間を延長して、収集される前に完全なログが書き込まれるようにすることができます：

1. Simple Log Service コンソールにログインします。対象のプロジェクトに移動します。

2. 左側のナビゲーションウィンドウで、[Logstores] を選択します。対象の Logstore を見つけます。

3. その名前の前にある をクリックして Logstore を展開します。

4. Logtail構成 をクリックします。設定リストで、対象の Logtail 構成を見つけます。次に、[操作] 列の Logtail 設定の管理 をクリックします。

5. [Logtail 構成] ページで、編集 をクリックします：

   • 入力設定 > その他の入力設定 > 高度なパラメーター を選択します。次の JSON 設定を追加してタイムアウトをカスタマイズします：

     {
       "FlushTimeoutSecs": 1
     }

     • デフォルト値：起動パラメータ default_reader_flush_timeout によって決定されます (通常は数秒)。

     • 単位：秒。

     • 推奨値：≥1 秒。0 に設定しないでください。そうしないと、ログが切り捨てられたり、一部のコンテンツが失われたりする可能性があります。

6. 設定が完了したら、OK をクリックします。

LoongCollector (Logtail) が実行中にプライベートネットワークドメイン名からパブリックネットワークに切り替わるのはなぜですか？自動的に元に戻りますか？

LoongCollector (Logtail) の実行中に、プライベートネットワークドメイン名の通信に異常 (ネットワークの利用不可や接続タイムアウトなど) が検出された場合、システムは自動的にパブリックネットワークドメイン名に切り替えてデータを送信します。これにより、ログ収集の継続性と信頼性が確保され、ログの蓄積や損失が防止されます。

• LoongCollector：プライベートネットワークが回復すると、自動的にプライベートネットワークに戻ります。

• Logtail：自動的には戻りません。プライベートネットワーク通信を復元するには、手動で再起動する必要があります。

[プロセッサ設定] の [Logtail 構成] ページで、プロセッサを追加して生ログを構造化します。既存の収集設定に処理プラグインを追加するには、次の手順に従います：

1. 左側のナビゲーションウィンドウで、[Logstores] を選択し、対象の Logstore を見つけます。

2. その名前の前にある アイコンをクリックして Logstore を展開します。

3. [Logtail 構成] をクリックします。設定リストで、対象の Logtail 構成を見つけ、[操作] 列の [Logtail 構成の管理] をクリックします。

4. [Logtail 構成] ページで、[編集] をクリックします。

このセクションでは、一般的なログ処理のユースケースをカバーする、一般的に使用される処理プラグインのみを紹介します。その他の機能については、「拡張プロセッサ」をご参照ください。

デリミタ解析

05/May/2025:13:30:28,10.10.*.*,"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1",200,18204,aliyun-sdk-java

ip:10.10.*.*
request:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1
size:18204
status:200
time:05/May/2025:13:30:28
user_agent:aliyun-sdk-java

標準 JSON 解析

{"url": "POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek********&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1", "ip": "10.200.98.220", "user-agent": "aliyun-sdk-java", "request": {"status": "200", "latency": "18204"}, "time": "05/Jan/2025:13:30:28"}

ip: 10.200.98.220
request: {"status": "200", "latency" : "18204" }
time: 05/Jan/2025:13:30:28
url: POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek******&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1
user-agent:aliyun-sdk-java

ネストされた JSON 解析

{"s_key":{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}}

0_s_key_k1_k2_k3_k41:41
0_s_key_k1_k2_k3_k4_k51:51
0_s_key_k1_k2_k3_k4_k52:52

1_s_key:{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}

JSON 配列解析

[{"key1":"value1"},{"key2":"value2"}]

json1:{"key1":"value1"}
json2:{"key2":"value2"}

* | extend json1 = json_extract(content, '$[0]'), json2 = json_extract(content, '$[1]')

Apache ログ解析

1 192.168.1.10 - - [08/May/2024:15:30:28 +0800] "GET /index.html HTTP/1.1" 200 1234 "https://www.example.com/referrer" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36"

http_referer:https://www.example.com/referrer
http_user_agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36
remote_addr:192.168.1.10
remote_ident:-
remote_user:-
request_method:GET
request_protocol:HTTP/1.1
request_uri:/index.html
response_size_bytes:1234
status:200
time_local:[08/May/2024:15:30:28 +0800]

データマスキング

ログ内の機密データをマスキングします。

例：

[{'account':'1812213231432969','password':'04a23f38'}, {'account':'1812213685634','password':'123a'}]

[{'account':'1812213231432969','password':'********'}, {'account':'1812213685634','password':'********'}]

設定手順：Logtail構成 エリアの 設定の処理 ページで、処理プラグインの追加 をクリックし、ネイティブ処理プラグイン > データマスキング処理 を選択します：

• 元のフィールド：解析前のログコンテンツを保存するソースフィールド。

• マスキング方法：

  • const：機密コンテンツを変更後の文字列に置き換えます。

  • md5：機密コンテンツをその MD5 ハッシュに置き換えます。

• 文字列の置き換え：マスキング方法 を const として選択した場合、機密コンテンツを置き換える文字列を入力します。

• 置き換えられたコンテンツより前のコンテンツの式：機密コンテンツを見つけるために使用します。RE2 構文を使用して設定します。

• 置き換えられたコンテンツの式：機密コンテンツの表現。RE2 構文を使用して設定します。

1. 名前付きグループの構文の違い

Go は (?P<name>...) 構文を使用して名前付きグループを定義します。PCRE で使用される (?<name>...) 構文はサポートしていません。

• 正しい例：(?P<year>\d{4})

• 誤った例：(?<year>\d{4})

2. サポートされていない正規表現機能

次の一般的で複雑な正規表現機能は RE2 では利用できません。これらを使用しないでください：

• アサーション: (?=...), (?!...), (?<=...), （?<!...)

• 条件式： (?(condition)true|false)

• 再帰的マッチング： (?R)、(?0)

• サブルーチン参照： (?&name)、(?P>name)

• アトミックグループ： (?>...)

3. 使用上の推奨事項

Regex101 などのツールを使用して正規表現をデバッグする際は、互換性を確保するために Golang (RE2) モードを選択して検証してください。上記で言及したサポートされていない構文が使用された場合、プラグインは正しく解析またはマッチングできません。