Simple Log Service:コンソールを使用したクラスターからのコンテナーログ (標準出力およびファイル) の収集

構造化設定

127.0.0.1 - - [16/Aug/2024:14:37:52 +0800] "GET /wp-admin/admin-ajax.php?action=rest-nonce HTTP/1.1" 200 41 "http://www.example.com/wp-admin/post-new.php?post_type=page" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0"

body_bytes_sent: 41
http_referer: http://www.example.com/wp-admin/post-new.php?post_type=page
http_user_agent: Mozilla/5.0 (Windows NT 10.0; Win64; ×64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0
remote_addr: 127.0.0.1
remote_user: -
request_method: GET
request_protocol: HTTP/1.1
request_uri: /wp-admin/admin-ajax.php?action=rest-nonce
status: 200
time_local: 16/Aug/2024:14:37:52 +0800

05/May/2025:13:30:28,10.10.*.*,"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1",200,18204,aliyun-sdk-java

ip:10.10.*.*
request:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1
size:18204
status:200
time:05/May/2025:13:30:28
user_agent:aliyun-sdk-java

{"url": "POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek********&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1", "ip": "10.200.98.220", "user-agent": "aliyun-sdk-java", "request": {"status": "200", "latency": "18204"}, "time": "05/Jan/2025:13:30:28"}

ip: 10.200.98.220
request: {"status": "200", "latency" : "18204" }
time: 05/Jan/2025:13:30:28
url: POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek******&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1
user-agent:aliyun-sdk-java

{"s_key":{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}}

0_s_key_k1_k2_k3_k41:41
0_s_key_k1_k2_k3_k4_k51:51
0_s_key_k1_k2_k3_k4_k52:52

1_s_key:{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}

[{"key1":"value1"},{"key2":"value2"}]

json1:{"key1":"value1"}
json2:{"key2":"value2"}

192.168.*.* - - [15/Apr/2025:16:40:00 +0800] "GET /nginx-logo.png HTTP/1.1" 0.000 514 200 368 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.*.* Safari/537.36"

body_bytes_sent: 368
http_referer: -
http_user_agent : Mozi11a/5.0 (Nindows NT 10.0; Win64; x64) AppleMebKit/537.36 (KHTML, like Gecko) Chrome/131.0.x.x Safari/537.36
remote_addr:192.168.*.*
remote_user: -
request_length: 514
request_method: GET
request_time: 0.000
request_uri: /nginx-logo.png
status: 200
time_local: 15/Apr/2025:16:40:00

1 192.168.1.10 - - [08/May/2024:15:30:28 +0800] "GET /index.html HTTP/1.1" 200 1234 "https://www.example.com/referrer" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36"

http_referer:https://www.example.com/referrer
http_user_agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36
remote_addr:192.168.1.10
remote_ident:-
remote_user:-
request_method:GET
request_protocol:HTTP/1.1
request_uri:/index.html
response_size_bytes:1234
status:200
time_local:[08/May/2024:15:30:28 +0800]

データマスキング

ログ内の機密データをマスキングします。

[{'account':'1812213231432969','password':'04a23f38'}, {'account':'1812213685634','password':'123a'}]

[{'account':'1812213231432969','password':'********'}, {'account':'1812213685634','password':'********'}]

コンテンツフィルタリング

正規表現に基づいてログフィールド値を照合し、ホワイトリスト条件を満たすログのみを収集します。

{"level":"WARNING","timestamp":"2025-09-23T19:11:40+0800","cluster":"yilu-cluster-0728","message":"Disk space is running low","freeSpace":"15%"}
{"level":"ERROR","timestamp":"2025-09-23T19:11:42+0800","cluster":"yilu-cluster-0728","message":"Failed to connect to database","errorCode":5003}
{"level":"INFO","timestamp":"2025-09-23T19:11:47+0800","cluster":"yilu-cluster-0728","message":"User logged in successfully","userId":"user-123"}

{"level":"WARNING","timestamp":"2025-09-23T19:11:40+0800","cluster":"yilu-cluster-0728","message":"Disk space is running low","freeSpace":"15%"}
{"level":"ERROR","timestamp":"2025-09-23T19:11:42+0800","cluster":"yilu-cluster-0728","message":"Failed to connect to database","errorCode":5003}

時間解析

ログの時間フィールドを解析し、解析結果をログの __time__ フィールドとして設定します。

{"level":"INFO","timestamp":"2025-09-23T19:11:47+0800","cluster":"yilu-cluster-0728","message":"User logged in successfully","userId":"user-123"}

複数行ログ収集

デフォルトでは、SLS は単一行モードで動作し、テキストの各行を個別のログとして扱います。これにより、スタックトレースや JSON などのコンテンツを含む複数行のログが誤って分割され、コンテキストが失われる可能性があります。

この問題に対処するには、[複数行モード] を有効にし、[最初の行に一致する正規表現] を定義します。これにより、SLS は完全なログの開始行を正確に識別し、複数の行を単一のログエントリにマージできます。

[2023-10-01T10:30:01,000] [INFO] java.lang.Exception: exception happened
    at TestPrintStackTrace.f(TestPrintStackTrace.java:3)
    at TestPrintStackTrace.g(TestPrintStackTrace.java:7)
    at TestPrintStackTrace.main(TestPrintStackTrace.java:16)

content:[2023-10-01T10:30:01,000] [INFO] java.lang.Exception: exception happened
    at TestPrintStackTrace.f(TestPrintStackTrace.java:3)
    at TestPrintStackTrace.g(TestPrintStackTrace.java:7)
    at TestPrintStackTrace.main(TestPrintStackTrace.java:16)

トピックタイプの設定

[グローバル設定] > [その他のグローバル設定] > [ログトピックタイプ]: トピックの生成方法を選択します。

• マシングループトピック: SLS では、1 つの収集設定を複数のマシングループに適用できます。LoongCollector がデータを報告する際、マシングループのトピックをログトピックとして使用し、Logstore にアップロードします。トピックを使用して、異なるマシングループからのログを区別します。

• ファイルパス抽出: 異なるユーザーやアプリケーションが、異なるトップレベルディレクトリに、しかし同じサブディレクトリパスとファイル名でログを書き込む場合、ファイル名からログソースを区別することが困難になります。[ファイルパス抽出] を設定します。正規表現を使用して完全なファイルパスを照合し、照合された結果 (ユーザー名またはアプリケーション名) をログトピックとして Logstore にアップロードします。

  説明

  ファイルパスの正規表現では、フォワードスラッシュ (/) をエスケープする必要があります。

  ファイルパス正規表現を使用した抽出

  ユースケース: 異なるユーザーが異なるディレクトリにログを記録しますが、ログファイル名は同じです。ディレクトリパスは次のとおりです。

  /data/logs
  ├── userA
  │   └── serviceA
  │       └── service.log
  ├── userB
  │   └── serviceA
  │       └── service.log
  └── userC
      └── serviceA
          └── service.log

  [Logtail 設定] でファイルパスを /data/logs、ファイル名を service.log とだけ設定した場合、LoongCollector (Logtail) は 3 つすべての service.log ファイルのコンテンツを同じ Logstore に収集します。これにより、どのユーザーがどのログを生成したかを区別できなくなります。正規表現を使用してファイルパスから値を抽出し、異なるログトピックを生成します。

  正規表現	抽出結果
  \/data\/logs\/(.*)\/serviceA\/.*	__topic__: userA __topic__: userB __topic__: userC

  複数のキャプチャグループを使用した抽出

  ユースケース: 単一のログトピックではログのソースを区別するのに不十分な場合、ログファイルパスに複数の正規表現キャプチャグループを設定してキー情報を抽出します。これらのキャプチャグループには、名前付きキャプチャグループ (?P<name>) と名前なしキャプチャグループが含まれます。

  • 名前付きキャプチャグループ: 生成されるタグフィールドは __tag__:{name} です。

  • 名前なしキャプチャグループ: 生成されるタグフィールドは __tag__:__topic_{i}__ です。ここで、{i} はキャプチャグループのシーケンス番号です。

  説明

  正規表現に複数のキャプチャグループがある場合、__topic__ フィールドは生成されません。

  たとえば、ファイルパスが /data/logs/userA/serviceA/service.log の場合、次の方法でファイルパスから複数の値を抽出します:

  例	正規表現	抽出結果
  正規表現抽出に名前なしキャプチャグループを使用します。	\/data\/logs\/(.*?)\/(.*?)\/service.log	__tag__:__topic_1__: userA __tag__:__topic_2__: serviceA
  正規表現抽出に名前付きキャプチャグループを使用します。	\/data\/logs\/(?P<user>.*?)\/(?P<service>.*?)\/service.log	__tag__:user: userA __tag__:service: serviceA

  検証: 設定後、ログトピックに基づいてログをクエリします。

  ログクエリおよび分析ページで、対応する生成されたログトピック (例: __topic__: userA または __tag__:__topic_1__: userA) を入力して、そのトピックのログをクエリします。

  

• [カスタム]: customized:// + カスタムトピック名 を入力して、カスタムの静的ログトピックを使用します。

コンテナーフィルタリングとブラックリスト

ログタグの充実化

[入力設定] > [ログタグの充実化]:

• [ログタグの充実化] を有効にし、[追加] をクリックします:

  • 環境変数: 環境変数名とタグ名を設定します。環境変数の値はタグ名に保存されます。

    • 環境変数名: 抽出する環境変数の名前を指定します。

    • タグ名: 環境変数タグの名前。

  • Pod ラベル: Pod ラベル名とタグ名を設定します。Pod ラベルの値はタグ名に保存されます。

    • Pod ラベル名: 抽出する Kubernetes Pod ラベルの名前。

    • タグ名: タグの名前。

ログ転送の圧縮

[出力設定]:

• lz4: 圧縮速度が速く、圧縮率が低い。

• zstd: 圧縮率が高く、速度がやや遅く、メモリ使用量が多い。

ACK クラスターのログを別の Alibaba Cloud アカウントのプロジェクトに送信するにはどうすればよいですか？

ACK クラスターに LoongCollector (Logtail) を手動でインストールし、ターゲットの Alibaba Cloud アカウント ID または AccessKey で設定します。これにより、コンテナーログを別の Alibaba Cloud アカウントの SLS プロジェクトに送信できます。

ユースケース: 組織構造、権限の分離、または統一された監視などの理由で、ACK クラスターから別の Alibaba Cloud アカウントの SLS プロジェクトにログデータを収集します。クロスアカウント設定のために LoongCollector (Logtail) を手動でインストールします。

プロシージャ: 以下の手順では、LoongCollector の手動インストールを例として使用します。Logtail のインストール方法については、「Logtail のインストールと設定」をご参照ください。

1. Kubernetes クラスターに接続します。お使いのリージョンに対応するコマンドを選択して、LoongCollector とその依存コンポーネントをダウンロードします:

   中国国内のリージョン:

   wget https://aliyun-observability-release-cn-shanghai.oss-cn-shanghai.aliyuncs.com/loongcollector/k8s-custom-pkg/3.0.12/loongcollector-custom-k8s-package.tgz; tar xvf loongcollector-custom-k8s-package.tgz; chmod 744 ./loongcollector-custom-k8s-package/k8s-custom-install.sh

   中国国外のリージョン:

   wget https://aliyun-observability-release-ap-southeast-1.oss-ap-southeast-1.aliyuncs.com/loongcollector/k8s-custom-pkg/3.0.12/loongcollector-custom-k8s-package.tgz; tar xvf loongcollector-custom-k8s-package.tgz; chmod 744 ./loongcollector-custom-k8s-package/k8s-custom-install.sh

2. loongcollector-custom-k8s-package ディレクトリに移動し、./loongcollector/values.yaml 設定ファイルを変更します。

   # ===================== 必須情報 =====================
   # このクラスターからログを収集するプロジェクトの名前 (例: k8s-log-custom-sd89ehdq)
   projectName: ""
   # プロジェクトのリージョン (例: Shanghai: cn-shanghai)
   region: ""
   # プロジェクトを所有する Alibaba Cloud アカウントの UID。引用符で囲みます (例: "123456789")
   aliUid: ""
   # 使用するネットワーク。オプションのパラメーター: Internet, Intranet。デフォルトは Internet です。
   net: Internet
   # Alibaba Cloud アカウントまたは RAM ユーザーの AccessKey ID と AccessKey Secret。アカウントには AliyunLogFullAccess システムポリシー権限が必要です。
   accessKeyID: ""
   accessKeySecret: ""
   # カスタムクラスター ID。名前には大文字、小文字、数字、ハイフン (-) のみを含めることができます。
   clusterID: ""

3. loongcollector-custom-k8s-package ディレクトリで、次のコマンドを実行して LoongCollector とその他の依存コンポーネントをインストールします:

   bash k8s-custom-install.sh install

4. インストールが完了したら、コンポーネントの実行ステータスを確認します。

   Pod の起動に失敗した場合は、values.yaml の設定が正しいか、関連するイメージが正常にプルされたかを確認してください。

   # Pod のステータスを確認
   kubectl get po -n kube-system | grep loongcollector-ds

   SLS はまた、以下のリソースを自動的に作成します。Simple Log Service コンソールにログインして表示します。

   リソースタイプ	リソース名	機能
   プロジェクト	values.yaml ファイルで定義された projectName の値	異なるサービスのログを隔離するリソース管理ユニット。 より柔軟なログリソース管理のためにプロジェクトを作成するには、「プロジェクトの作成」をご参照ください。
   マシングループ	k8s-group-${cluster_id}	ログ収集ノードのコレクション。
   Logstore	config-operation-log 重要 この Logstore は削除しないでください。	loongcollector-operator コンポーネントのログを保存します。その課金方法は通常の Logstore と同じです。詳細については、「データ書き込み量に応じた課金項目」をご参照ください。この Logstore には収集設定を作成しないことをお勧めします。

複数の収集設定を使用して同じファイルまたはコンテナーの標準出力からログを収集するにはどうすればよいですか?

デフォルトでは、データの重複を防ぐため、SLS は各ログソースが 1 つの収集設定によってのみ収集されるように制限しています:

• テキストログファイルは、1 つの Logtail 収集設定にのみ一致できます。

• コンテナーの標準出力 (stdout) も、1 つの標準出力収集設定によってのみ収集できます。

1. Simple Log Service コンソールにログインし、ターゲットプロジェクトに移動します。

2. 左側のナビゲーションウィンドウで、 [Logstores] を選択し、ターゲットの Logstore を見つけます。

3. 名前の前にある をクリックして Logstore を展開します。

4. [Logtail 設定] をクリックします。設定リストで、ターゲットの Logtail 設定を見つけ、[操作] 列の [Logtail 設定の管理] をクリックします。

5. Logtail 設定ページで、[編集] をクリックし、[入力設定] セクションまでスクロールダウンします:

   • テキストファイルログを収集する場合: [ファイルを複数回収集することを許可] を有効にします。

   • コンテナーの標準出力を収集する場合: [異なる Logtail 設定による収集を許可] を有効にします。

1. 名前付きグループの構文の違い

Go は (?P<name>...) 構文を使用して名前付きグループを定義し、PCRE の (?<name>...) 構文はサポートしていません。

• 正しい: (?P<year>\d{4})

• 誤り: (?<year>\d{4})

2. サポートされていない正規表現機能

以下の一般的で複雑な正規表現機能は RE2 ではサポートされていません。これらの使用は避けてください:

• アサーション: (?=...), (?!...), (?<=...), (?<!...)

• 条件式: (?(condition)true|false)

• 再帰的マッチング: (?R), (?0)

• サブルーチン参照: (?&name), (?P>name)

• アトミックグループ: (?>...)

3. 推奨事項

Regex101 などのツールを使用して正規表現をデバッグします。互換性を検証するには、Golang (RE2) モードを選択します。プラグインは、サポートされていない構文を含む式を解析またはマッチングできません。