Simple Log Service:コンソールを使用してクラスターからコンテナーログ (標準出力およびファイル) を収集する

1. グローバル設定と入力設定

開始する前に、データインポートテンプレートを選択し、マシングループに適用したことを確認してください。このステップでは、収集設定の名前、ログソース、および収集範囲を定義します。

報告されたログの表示

1. ログファイルに新しいコンテンツがあることを確認する: LoongCollector は増分ログのみを収集します。tail -f /path/to/your/log/file コマンドを実行し、サービス操作をトリガーして、新しいログが書き込まれていることを確認できます。

2. ログのクエリ: ターゲット Logstore のクエリと分析ページに移動し、[検索と分析] をクリックします。デフォルトの時間範囲は過去 15 分です。新しいログが流入しているかどうかを確認します。収集された各コンテナーテキストログには、次のデフォルトのフィールド情報が含まれています:

   フィールド	説明
   __tag__:__hostname__	コンテナーのホスト名。
   __tag__:__path__	コンテナー内のログファイルのパス。
   __tag__:_container_ip_	コンテナーの IP アドレス。
   __tag__:_image_name_	コンテナーが使用するイメージの名前。
   __tag__:_pod_name_	Pod の名前。
   __tag__:_namespace_	Pod が属する名前空間。
   __tag__:_pod_uid_	Pod の一意の識別子 (UID)。

一般的なトラブルシューティングの問題

ACK クラスターのログを別の Alibaba Cloud アカウントのプロジェクトに送信するにはどうすればよいですか？

ACK クラスターに Simple Log Service の LoongCollector (Logtail) コンポーネントを手動でインストールし、ターゲットアカウントの Alibaba Cloud アカウント ID またはアクセス資格情報 (AccessKey) で設定できます。これにより、コンテナーログを別の Alibaba Cloud アカウントに属する Simple Log Service プロジェクトに送信できます。

シナリオ: 組織構造、権限の隔離、または統一された監視などの理由で、ACK クラスターからログデータを収集し、それを別の Alibaba Cloud アカウントに属する Simple Log Service プロジェクトに送信したい場合。クロスアカウント設定のために LoongCollector (Logtail) を手動でインストールできます。

手順: 以下の手順では、LoongCollector を手動でインストールする方法について説明します。Logtail のインストール方法については、「Logtail のインストールと設定」をご参照ください。

1. Kubernetes クラスターに接続し、クラスターのリージョンに対応するコマンドを実行します:

   中国リージョン

   wget https://aliyun-observability-release-cn-shanghai.oss-cn-shanghai.aliyuncs.com/loongcollector/k8s-custom-pkg/3.0.12/loongcollector-custom-k8s-package.tgz; tar xvf loongcollector-custom-k8s-package.tgz; chmod 744 ./loongcollector-custom-k8s-package/k8s-custom-install.sh

   中国以外のリージョン

   wget https://aliyun-observability-release-ap-southeast-1.oss-ap-southeast-1.aliyuncs.com/loongcollector/k8s-custom-pkg/3.0.12/loongcollector-custom-k8s-package.tgz; tar xvf loongcollector-custom-k8s-package.tgz; chmod 744 ./loongcollector-custom-k8s-package/k8s-custom-install.sh

2. loongcollector-custom-k8s-package ディレクトリに移動し、./loongcollector/values.yaml 設定ファイルを変更します。

   # ===================== 必須情報 =====================
   # このクラスターからログを収集するプロジェクトの名前 (例: k8s-log-custom-sd89ehdq)
   projectName: ""
   # プロジェクトのリージョン (例: 上海: cn-shanghai)
   region: ""
   # プロジェクトを所有する Alibaba Cloud アカウントの UID。引用符で囲みます (例: "123456789")
   aliUid: ""
   # 使用するネットワーク。オプションのパラメーター: Internet、Intranet。デフォルトは Internet です。
   net: Internet
   # Alibaba Cloud アカウントまたは RAM ユーザーの AccessKey ID と AccessKey Secret。アカウントには AliyunLogFullAccess システムポリシー権限が必要です。
   accessKeyID: ""
   accessKeySecret: ""
   # カスタムクラスター ID。名前には大文字、小文字、数字、ハイフン (-) のみを含めることができます。
   clusterID: ""

3. loongcollector-custom-k8s-package ディレクトリで、次のコマンドを実行して LoongCollector とその依存コンポーネントをインストールします:

   bash k8s-custom-install.sh install

4. インストールが完了したら、コンポーネントの実行ステータスを確認します。

   Pod の起動に失敗した場合は、`values.yaml` の設定が正しいか、関連するイメージが正常にプルされたかを確認してください。

   # Pod のステータスを確認
   kubectl get po -n kube-system | grep loongcollector-ds

   Simple Log Service は、次のリソースも自動的に作成します。Simple Log Service コンソールにログインして表示できます。

   リソースタイプ	リソース名	機能
   プロジェクト	values.yaml ファイルで定義された projectName の値	異なるサービスのログを隔離するリソース管理ユニット。 より柔軟なログリソース管理のためにプロジェクトを作成するには、「プロジェクトの作成」をご参照ください。
   マシングループ	k8s-group-${cluster_id}	ログ収集ノードのコレクション。
   Logstore	config-operation-log 重要 この Logstore は削除しないでください。	loongcollector-operator コンポーネントのログを保存します。その課金方法は通常の Logstore と同じです。詳細については、「データ書き込み量に応じた課金項目」をご参照ください。この Logstore に収集設定を作成しないことをお勧めします。

同じファイルまたはコンテナーの標準出力を複数の収集設定で収集するにはどうすればよいですか?

デフォルトでは、データの重複を防ぐため、Simple Log Service は各ログソースが 1 つの収集設定によってのみ収集されることを許可します:

• テキストログファイルは、1 つの Logtail 収集設定にのみ一致できます。

• コンテナーの標準出力 (stdout):

  • 新しいバージョンの標準出力テンプレートを使用する場合、標準出力はデフォルトで 1 つの標準出力収集設定によってのみ収集できます。

  • 古いバージョンの標準出力テンプレートを使用する場合、追加の設定は不要です。デフォルトで複数の収集をサポートします。

1. Simple Log Service コンソールにログインし、ターゲットプロジェクトに移動します。

2. 左側のナビゲーションウィンドウで、[Logstores] を選択し、ターゲット Logstore を見つけます。

3. その名前の前にある アイコンをクリックして Logstore を展開します。

4. [Logtail 構成] をクリックします。構成リストで、ターゲットの Logtail 構成を見つけ、[操作] 列の [Logtail 構成の管理] をクリックします。

5. Logtail 構成ページで、[編集] をクリックし、[入力設定] セクションまでスクロールダウンします:

   • テキストファイルログを収集する場合: [ファイルを複数回収集することを許可] を有効にします。

   • コンテナーの標準出力を収集する場合: [異なる Logtail 構成による収集を許可] を有効にします。

ACK で loongcollector(logtail-ds) コンポーネントをアンインストールする際に依存関係エラーが発生するのはなぜですか？

問題: Container Service for Kubernetes (ACK) で loongcollector (logtail-ds) ログ収集コンポーネントを削除しようとすると、システムがエラーを報告します: `このコンポーネントの依存関係が満たされていません`。

Dependencies of addons are not met: terway-eniip depends on logtail-ds(>0.0) whose version is v3.x.x.x-aliyun or will be v3.x.x.x-aliyun.

原因: terway-eniip ネットワークプラグインはログ収集機能が有効になっており、これは loongcollector (logtail-ds) コンポーネントに依存しています。そのため、ACK はこの依存関係を削除する前に loongcollector (logtail-ds) を直接アンインストールすることを許可しません。

解決策: 以下の手順に従って依存関係を削除し、その後コンポーネントをアンインストールします:

1. Container Service for Kubernetes コンソールにログインします。

2. クラスターリストで、ターゲットクラスターの名前をクリックします。

3. 左側のナビゲーションウィンドウで、[コンポーネント管理] をクリックします。

4. コンポーネントリストで、terway-eniip コンポーネントを検索して見つけます。 > [ログを無効にする] をクリックします。

5. 表示されるダイアログボックスで、[確認] をクリックします。

6. 設定が有効になった後、loongcollector (logtail-ds) コンポーネントを再度アンインストールしてみてください。

最後のログエントリが長い遅延の後に報告されるのはなぜですか？なぜ時々切り捨てられるのですか？

原因: ログファイルが最後に改行を欠いている場合、または例外スタックのような複数行のログが完全に書き込まれていない場合、ログは通常切り捨てられます。コレクターはログが終了したかどうかを判断できないため、コンテンツの最後の部分が時期尚早に分割されたり、遅延して報告されたりすることがあります。処理メカニズムは LoongCollector (Logtail) のバージョンによって異なります:

• 1.8 より前のバージョン:
  ログの最後の行に改行 (キャリッジリターン) がない場合、または複数行のログ段落が終了していない場合、コレクターは次の書き込みを待って出力をトリガーします。これにより、最後のログエントリが新しいログが書き込まれるまで長時間送信されずに保持されることがあります。
  
  

• バージョン 1.8 以降:
  ログがスタックするのを防ぐために、タイムアウト更新メカニズムが導入されました。不完全なログ行が検出されると、システムはタイマーを開始します。タイムアウト期間が終了すると、現在のコンテンツが自動的に送信され、ログが最終的に収集されることが保証されます。
  
  

  • デフォルトのタイムアウト: 60 秒。これにより、ほとんどのシナリオで完全性が保証されます。

  • この値は必要に応じて調整できますが、0 に設定しないでください。これにより、ログが切り捨てられたり、部分的に失われたりする可能性があります。

解決策:

待機時間を延長して、収集される前に完全なログが書き込まれるようにすることができます:

1. Simple Log Service コンソールにログインし、ターゲットプロジェクトに移動します。

2. 左側のナビゲーションウィンドウで、[Logstores] を選択し、ターゲット Logstore を見つけます。

3. その名前の前にある アイコンをクリックして Logstore を展開します。

4. [Logtail 構成] をクリックします。構成リストで、ターゲットの Logtail 構成を見つけ、[操作] 列の [Logtail 構成の管理] をクリックします。

5. Logtail 構成ページで、[編集] をクリックします:

   • [入力設定] > [その他の入力設定] > [高度なパラメーター] を選択します。次の JSON 設定を追加して、タイムアウト期間をカスタマイズします。

     {
       "FlushTimeoutSecs": 1
     }

     • デフォルト値: 起動パラメーター default_reader_flush_timeout によって決定され、通常は数秒です。

     • 単位: 秒。

     • 推奨値: ≥1 秒。0 に設定しないでください。これにより、ログが切り捨てられたり、部分的に失われたりする可能性があります。

6. 設定後、[保存] をクリックします。

LoongCollector (Logtail) が動作中に内部ネットワークドメインからパブリックネットワークに切り替わるのはなぜですか？自動的に元に戻りますか？

LoongCollector (Logtail) が内部ネットワークドメイン通信で異常 (ネットワーク障害や接続タイムアウトなど) を検出した場合、システムは自動的にパブリックドメイン名に切り替えてデータ転送を行います。これにより、ログ収集の継続性と信頼性が確保され、ログの蓄積や損失が防止されます。

• LoongCollector: ネットワークが復旧した後、自動的に内部ネットワークに戻ります。

• Logtail: 自動的に元に戻りません。内部ネットワーク通信を再開するには、手動で再起動する必要があります。

[Logtail 構成] ページの [処理設定] セクションで、処理プラグインを追加して生ログを構造化できます。既存の収集設定に処理プラグインを追加するには、次の手順に従います:

1. 左側のナビゲーションウィンドウで、[Logstores] を選択し、ターゲット Logstore を見つけます。

2. その名前の前にある アイコンをクリックして Logstore を展開します。

3. [Logtail 構成] をクリックします。構成リストで、ターゲットの Logtail 構成を見つけ、[操作] 列の [Logtail 構成の管理] をクリックします。

4. Logtail 構成ページで、[編集] をクリックします。

このセクションでは、一般的なログ処理シナリオをカバーする、一般的に使用される処理プラグインのみを紹介します。その他の機能については、「拡張処理プラグイン」をご参照ください。

区切り文字ベースの解析

05/May/2025:13:30:28,10.10.*.*,"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1",200,18204,aliyun-sdk-java

ip:10.10.*.*
request:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1
size:18204
status:200
time:05/May/2025:13:30:28
user_agent:aliyun-sdk-java

標準 JSON 解析

{"url": "POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek********&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1", "ip": "10.200.98.220", "user-agent": "aliyun-sdk-java", "request": {"status": "200", "latency": "18204"}, "time": "05/Jan/2025:13:30:28"}

ip: 10.200.98.220
request: {"status": "200", "latency" : "18204" }
time: 05/Jan/2025:13:30:28
url: POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek******&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1
user-agent:aliyun-sdk-java

ネストされた JSON 解析

{"s_key":{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}}

0_s_key_k1_k2_k3_k41:41
0_s_key_k1_k2_k3_k4_k51:51
0_s_key_k1_k2_k3_k4_k52:52

1_s_key:{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}

JSON 配列解析

[{"key1":"value1"},{"key2":"value2"}]

json1:{"key1":"value1"}
json2:{"key2":"value2"}

* | extend json1 = json_extract(content, '$[0]'), json2 = json_extract(content, '$[1]')

Apache ログ解析

1 192.168.1.10 - - [08/May/2024:15:30:28 +0800] "GET /index.html HTTP/1.1" 200 1234 "https://www.example.com/referrer" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36"

http_referer:https://www.example.com/referrer
http_user_agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36
remote_addr:192.168.1.10
remote_ident:-
remote_user:-
request_method:GET
request_protocol:HTTP/1.1
request_uri:/index.html
response_size_bytes:1234
status:200
time_local:[08/May/2024:15:30:28 +0800]

データマスキング

ログ内の機密データをマスキングします。

例:

[{'account':'1812213231432969','password':'04a23f38'}, {'account':'1812213685634','password':'123a'}]

[{'account':'1812213231432969','password':'********'}, {'account':'1812213685634','password':'********'}]

手順: [Logtail 構成] ページの [プロセッサ設定] セクションで、[プロセッサを追加] をクリックし、[ネイティブプロセッサ] > [データマスキング] を選択します:

• 生フィールド: 解析前のログコンテンツを保存するために使用されるフィールド。

• マスキング方法:

  • const: 機密コンテンツを指定された文字列に置き換えます。

  • md5: 機密コンテンツを対応する MD5 ハッシュに置き換えます。

• 置換文字列: [非識別化方法] を [const] に設定した場合、機密コンテンツを置き換える文字列を入力する必要があります。

• 先行コンテンツ式: 機密コンテンツを見つけるために使用され、RE2 構文を使用して設定されます。

• コンテンツ置換式: 機密コンテンツの式で、RE2 構文を使用して設定されます。

1. 名前付きグループの構文の違い

Go は (?P<name>...) 構文を使用して名前付きグループを定義し、PCRE の (?<name>...) 構文はサポートしていません。

• 正しい: (?P<year>\d{4})

• 誤り: (?<year>\d{4})

2. サポートされていない正規表現機能

以下の一般的だが複雑な正規表現機能は RE2 ではサポートされていません。これらは使用しないでください:

• アサーション: (?=...), (?!...), (?<=...), または (?<!...)

• 条件式: (?(condition)true|false)

• 再帰的マッチング: (?R) または (?0)

• サブルーチン参照: (?&name) または (?P>name)

• アトミックグループ: (?>...)

3. 推奨事項

Regex101 などのツールを使用して正規表現をデバッグします。互換性を検証するには、Golang (RE2) モードを選択します。プラグインは、サポートされていない構文を含む式を解析または照合できません。