Simple Log Service:サーバーのテキストログのバッチ収集

操作手順：

1. [ Logstores] ページで、対象の Logstore 名の横にある [] をクリックして展開します。

2. データのインポート > Logtail 設定 をクリックします。[Logtail ワンタイム設定] タブで、Logtail 設定の追加 をクリックします。

3. データのインポート ダイアログボックスで、[ワンタイムファイル収集 - ホスト] カードにある 今すぐ統合 をクリックします。

4. [サーバグループ設定] ページで、次のパラメーターを設定します：

   • 使用シナリオ: ホストシナリオ

   • インストール環境：ECS

   • マシングループの選択：対象サーバー上の LoongCollector とマシングループのステータスに基づいてアクションを選択します：

     • LoongCollector がインストールされ、マシングループに追加されている場合は、[ソースサーバーグループ] リストから選択し、[適用されたサーバーグループ] リストに追加します。新しく作成する必要はありません。

     • LoongCollector がインストールされていない場合は、[マシングループの作成 をクリックします：

       以下の手順は、LoongCollector をワンクリックでインストールし、マシングループを作成するプロセスを説明しています。

       1. システムは、プロジェクトと同じリージョンにある ECS インスタンスを自動的にリストアップします。ログを収集したいインスタンスを 1 つ以上選択します。

       2. マシングループとしてインストールおよび作成する をクリックします。システムは選択された ECS インスタンスに LoongCollector を自動的にインストールします。

       3. マシングループの [名前 を入力し、[OK をクリックします。

       説明

       インストールが失敗するか、保留状態のままの場合は、ECS インスタンスがプロジェクトと同じリージョンにあることを確認してください。

     • LoongCollector がすでにインストールされているサーバーを既存のマシングループに追加するには、「既存のマシングループにサーバーを追加するにはどうすればよいですか？」をご参照ください。

5. ハートビートステータスの確認：[次へ をクリックします。[マシングループのハートビートステータス] セクションが表示されたら、[ハートビート を確認します。ステータスが OK の場合、マシングループは正常に接続されています。[次へ をクリックして Logtail 構成ページに進みます。

   ステータスが FAIL の場合、最初のハートビートを確立するのに時間がかかることがあります。約 2 分待ってからハートビートステータスを更新してください。更新後もステータスが FAIL の場合は、「マシングループのハートビート接続に失敗する」を参照して、さらなるトラブルシューティングを行ってください。

グローバル設定：

• 設定名：収集設定のカスタム名を指定します。名前はプロジェクト内で一意である必要があり、作成後に変更することはできません。命名規則は次のとおりです：

  • 小文字、数字、ハイフン (-)、アンダースコア (_) のみを含めることができます。

  • 小文字または数字で開始および終了する必要があります。

• 実行タイムアウト時間：デフォルトは 600 秒 (10 分) で、タイムアウトは 600 秒から 604,800 秒 (10 分から 7 日) の間で設定できます。収集タスクがこのタイムアウトを超えると、強制的に停止され、残りのデータは収集されません。

  重要

  設定の更新に関する注意：設定を更新すると、その有効期間がリセットされます。タスクの重複実行や予期しないデータレポートを防ぐために、マシングループの範囲が正しく、前回のタスク実行時間が [実行タイムアウト時間 を超えていないことを確認してください。

• [更新時に強制的に再実行]：デフォルトではオフです。

  • オフ：

    • 実行タイムアウト時間 または 入力設定 以外の収集設定パラメーターを更新すると、システムはタスクを再起動するのではなく、現在の収集の進捗を再開します。これにより、収集が中断されることはありません。

    • 実行タイムアウト時間 または 入力設定 を変更すると、システムは収集タスクを再実行します。

  • オン：収集設定を更新すると、タスクは強制的に再起動します。これにより、すべてのデータが最新の設定に従って処理およびレポートされることが保証されます。注意：更新前に収集されたデータは削除されません。以前に収集されたデータをクリアするには、「Simple Log Service のソフトデリート」をご参照ください。

入力設定：

• タイプ：1 回限りのファイル収集 (LoongCollector 3.3 以降のバージョンで利用可能)。

• ファイルパス：ログが収集されるパス。

  説明

  LoongCollector は、設定を取得する際に収集するファイルのリストとそのサイズを決定します。この時点以降に新しく作成されたファイルや既存のファイルに追加された内容は収集しません。

  • Linux：パスはスラッシュ (/) で始まる必要があります。例えば、/data/mylogs/**/*.log は /data/mylogs のすべてのサブディレクトリにある .log 拡張子を持つすべてのファイルを収集します。

  • Windows：パスはドライブ文字で始まる必要があります。例えば、C:\Program Files\Intel\**\*.Log。

• ディレクトリ監視の最大深度: ファイルパス 内のワイルドカード ** がマッチできるディレクトリの最大深度です。デフォルト値は 0 で、これは現在のディレクトリのみが監視されることを意味します。

シナリオ 2：構造化ログの処理

192.168.*.* - - [15/Apr/2025:16:40:00 +0800] "GET /nginx-logo.png HTTP/1.1" 0.000 514 200 368 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.*.* Safari/537.36"

body_bytes_sent: 368
http_referer: -
http_user_agent : Mozi11a/5.0 (Nindows NT 10.0; Win64; x64) AppleMebKit/537.36 (KHTML, like Gecko) Chrome/131.0.x.x Safari/537.36
remote_addr:192.168.*.*
remote_user: -
request_length: 514
request_method: GET
request_time: 0.000
request_uri: /nginx-logo.png
status: 200
time_local: 15/Apr/2025:16:40:00

手順: Logtail 設定 ページの 設定の処理 エリアで:

1. プロセッサプラグインの追加: 処理プラグインの追加 をクリックし、ログフォーマットに基づいて 正規表現、デリミタ、または JSON 解析 などのプラグインを設定します。 この例では NGINX ログを使用し、ネイティブ処理プラグイン > NGINX モード解析 を選択します。

2. NGINX ログの設定：NGINX サーバーの設定ファイル (nginx.conf) から log_format 定義全体をコピーし、このテキストボックスに貼り付けます。

   例：

   log_format main  '$remote_addr - $remote_user [$time_local] "$request" ''$request_time $request_length ''$status $body_bytes_sent "$http_referer" ''"$http_user_agent"';

   重要

   ここでのフォーマット定義は、サーバーでログを生成するために使用されるフォーマットと完全に一致する必要があります。そうでない場合、解析は失敗します。

3. 共通パラメーター：以下のパラメーターは複数のデータプロセッサプラグインで共通しており、同じ目的を果たします。

   • 元のフィールド：解析するソースフィールドを指定します。デフォルトは content で、収集されたログエントリ全体です。

   • 解析失敗時に元のフィールドを保持：推奨。プラグインがログの解析に失敗した場合、例えばフォーマットの不一致により、このオプションは指定された元のフィールドに元のログコンテンツを保持します。

   • 解析成功時に元のフィールドを保持：このオプションは、解析が成功した後でも元のログコンテンツを保持します。

操作手順：グローバル設定 > その他のグローバル設定 > ログテーマのタイプ エリアで、トピック生成方法を選択します。以下のタイプがサポートされています：

• マシングループトピック：収集設定を複数のマシングループに適用すると、LoongCollector はサーバーのマシングループ名を __topic__ フィールドの値として自動的に使用します。これは、ホストごとにログを分類するのに役立ちます。

• カスタム：customized://<custom-topic-name> の形式を使用します。例：customized://app-login。この方法は、固定のビジネス識別子を持つ静的なトピックに適しています。

• ファイルパス抽出：ログファイルの完全なパスからキー情報を抽出し、ログソースを動的にタグ付けします。これは、複数のユーザーやアプリケーションが同じログファイル名を共有しているが、異なるパスに存在する場合に役立ちます。例えば、複数のユーザーやサービスが異なるトップレベルディレクトリにログを書き込むが、同じサブディレクトリパスとファイル名を使用している場合、ファイル名だけではソースを区別できません：

  /data/logs
  ├── userA
  │   └── serviceA
  │       └── service.log
  ├── userB
  │   └── serviceA
  │       └── service.log
  └── userC
      └── serviceA
          └── service.log

  この場合、ファイルパス抽出を設定し、正規表現を使用して完全なパスからキー情報を抽出できます。一致した結果は、ログトピックとして Logstore にアップロードされます。

  ファイルパス抽出ルール

  正規表現を設定すると、システムはキャプチャグループの数と名前に基づいて出力フィールドの形式を自動的に決定します。ルールは次のとおりです：

  ファイルパスの正規表現では、スラッシュ (/) をエスケープする必要があります。

  キャプチャグループのタイプ	ユースケース	生成されるフィールド	正規表現の例	一致したパスのサンプル	生成されたフィールドのサンプル
  単一のキャプチャグループ (1 つの (.*?) のみ)	ユーザー名や環境など、ソースを区別するために 1 つのディメンションのみが必要な場合。	__topic__ フィールドを生成します。	\/logs\/(.*?)\/app\.log	/logs/userA/app.log	__topic__: userA
  複数のキャプチャグループ - 名前なし (複数の (.*?))	ソースを区別するために複数のディメンションが必要だが、意味的なラベルは不要な場合。	タグフィールド __tag__:__topic_{i}__ を生成します。ここで {i} はキャプチャグループのインデックスです。	\/logs\/(.*?)\/(.*?)\/app\.log	/logs/userA/svcA/app.log	__tag__:__topic_1__:userA; __tag__:__topic_2__:svcA
  名前付き複数キャプチャグループ ((?P<name>.*？) を使用)	ソースを区別するために複数のディメンションが必要で、クエリと分析を容易にするために明確で意味のあるフィールド名が必要な場合。	タグフィールド __tag__:{name} を生成します。	\/logs\/(?P<user>.*?)\/(?P<service>.*?)\/app\.log	/logs/userA/svcA/app.log	__tag__:user:userA; __tag__:service:svcA

既存のマシングループへのサーバーの追加

新しくデプロイされた ECS インスタンスや自己管理サーバーなどの新しいサーバーを既存のマシングループに追加するには、以下の手順に従ってグループに関連付け、その収集設定を適用します。

前提条件

• 既存のマシングループ。

• LoongCollector (Logtail) は新しいサーバーにインストールされています。

操作手順

1. 対象のマシングループの識別子を表示します。

   1. 対象のプロジェクトで、左側のナビゲーションウィンドウでリソース > マシングループをクリックします。

   2. [マシングループ] ページで、対象のマシングループの名前をクリックします。

   3. マシングループ設定ページで、マシングループ識別子を表示します。

2. 識別子のタイプに基づいて、以下のいずれかのアクションを実行します。

   説明

   1 つのマシングループに Linux サーバーと Windows サーバーの両方を含めることはできません。Linux サーバーと Windows サーバーの両方で同じユーザー定義 ID を設定しないでください。1 つのサーバーに複数のユーザー定義 ID を設定するには、改行で区切ります。

   • タイプ 1：マシングループ識別子が IP アドレスの場合

     1. サーバーで、以下のコマンドを実行して app_info.json ファイルを開き、ip の値を確認します。

        cat /usr/local/ilogtail/app_info.json

     2. 対象のマシングループの設定ページで、[変更 をクリックし、サーバーの IP アドレスを入力します。複数の IP アドレスがある場合は、改行で区切ります。

     3. 設定が完了したら、[保存 をクリックし、ハートビートステータスを確認します。ステータスが OK の場合、サーバーはマシングループの収集設定を自動的に適用します。

        ハートビートステータスが FAIL の場合は、「マシングループのハートビートが FAIL になる」でトラブルシューティングの手順をご参照ください。

   • タイプ 2：マシングループ識別子がユーザー定義 ID の場合

     オペレーティングシステムに基づいて、対象のマシングループに一致するユーザー定義 ID 文字列を指定されたファイルに書き込みます：

     ディレクトリが存在しない場合は、手動で作成してください。ファイルパスと名前は Log Service によって固定されており、カスタマイズできません。

     • Linux：カスタム文字列を /etc/ilogtail/user_defined_id ファイルに書き込みます。

     • Windows：カスタム文字列を C:\LogtailData\user_defined_id に書き込みます。

正規表現を使用してログフィールドを抽出し、ログをキーと値のペアに解析します。各フィールドは個別にクエリおよび分析できます。

127.0.0.1 - - [16/Aug/2024:14:37:52 +0800] "GET /wp-admin/admin-ajax.php?action=rest-nonce HTTP/1.1" 200 41 "http://www.example.com/wp-admin/post-new.php?post_type=page" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0"

body_bytes_sent: 41
http_referer: http://www.example.com/wp-admin/post-new.php?post_type=page
http_user_agent: Mozilla/5.0 (Windows NT 10.0; Win64; ×64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0
remote_addr: 127.0.0.1
remote_user: -
request_method: GET
request_protocol: HTTP/1.1
request_uri: /wp-admin/admin-ajax.php?action=rest-nonce
status: 200
time_local: 16/Aug/2024:14:37:52 +0800

操作手順：[Logtail 構成] ページの [プロセッサ設定] セクションで、[プロセッサを追加] をクリックし、[ネイティブプロセッサ] > [データ解析 (正規表現モード)] を選択します：

• [正規表現]：ログに一致させるために使用する式。自動生成するか、手動で入力します：

  • 自動生成：

    • [生成] をクリックします。

    • [ログサンプル] で、抽出するログの内容を選択します。

    • [正規表現を生成] をクリックします。

      

  • 手動入力： ログ形式に基づいて[正規表現を手動で入力する]。

  設定後、[検証] をクリックして、正規表現がログコンテンツを正しく解析できるかテストします。

• [抽出されたフィールド]：抽出されたログコンテンツ (値) に対応するフィールド名 (キー)。

• その他のパラメーターについては、「ユースケース 2：構造化ログ」の共通設定パラメーターの説明をご参照ください。

区切り文字を使用してログコンテンツを構造化し、複数のキーと値のペアに解析します。単一文字および複数文字の区切り文字の両方がサポートされています。

05/May/2025:13:30:28,10.10.*.*,"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1",200,18204,aliyun-sdk-java

ip:10.10.*.*
request:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1
size:18204
status:200
time:05/May/2025:13:30:28
user_agent:aliyun-sdk-java

操作手順：[Logtail 構成] ページの [プロセッサ設定] セクションで、[プロセッサを追加] をクリックし、[ネイティブプロセッサ] > [データ解析 (区切り文字モード)] を選択します：

• [区切り文字]：ログコンテンツを分割するために使用する文字を指定します。

  例：CSV ファイルの場合、[カスタム] を選択し、カンマ (,) を入力します。

• [引用符]：フィールド値に区切り文字が含まれている場合、誤った分割を防ぐためにフィールド値を引用符で囲む必要があります。

• [抽出されたフィールド]：各列のフィールド名 (キー) を表示順に指定します。ルールは次のとおりです：

  • フィールド名には、文字、数字、アンダースコア (_) のみを含めることができます。

  • 文字またはアンダースコア (_) で始まる必要があります。

  • 最大長：128 バイト。

• その他のパラメーターについては、「ユースケース 2：構造化ログ」の共通設定パラメーターの説明をご参照ください。

オブジェクトタイプの JSON ログをキーと値のペアに解析して構造化します。

{"url": "POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek********&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1", "ip": "10.200.98.220", "user-agent": "aliyun-sdk-java", "request": {"status": "200", "latency": "18204"}, "time": "05/Jan/2025:13:30:28"}

ip: 10.200.98.220
request: {"status": "200", "latency" : "18204" }
time: 05/Jan/2025:13:30:28
url: POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek******&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1
user-agent:aliyun-sdk-java

手順: [Logtail 設定] ページの [プロセッサー設定] セクションで、[プロセッサーの追加] をクリックし、[ネイティブプロセッサー] > [データ解析 (JSON モード)] を選択します:

• [元のフィールド]：解析対象の生ログを含むフィールド。デフォルト値は content です。

• その他のパラメーターについては、「ユースケース 2：構造化ログ」の共通設定パラメーターの説明をご参照ください。

展開深度を指定して、ネストされた JSON ログをキーと値のペアに解析します。

{"s_key":{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}}

0_s_key_k1_k2_k3_k41:41
0_s_key_k1_k2_k3_k4_k51:51
0_s_key_k1_k2_k3_k4_k52:52

1_s_key:{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}

操作手順：[Logtail 構成] ページの [プロセッサ設定] セクションで、[プロセッサを追加] をクリックし、[拡張プロセッサ] > [JSON フィールドの展開] を選択します：

• [元のフィールド]：展開するソースフィールドの名前を指定します。例：content。

• [JSON 展開深度]：JSON オブジェクトの展開深度。0 (デフォルト) は完全な展開、1 は現在のレベルの展開を示します。

• [展開されたキーを連結する文字]：JSON オブジェクトが展開されたときのフィールド名の区切り文字。デフォルト値はアンダースコア (_) です。

• [展開されたキーの名前プレフィックス]：JSON 展開後のフィールド名のプレフィックス。

• [配列の展開]：配列をインデックス付きのキーと値のペアに展開します。

  例：{"k":["a","b"]} は {"k[0]":"a","k[1]":"b"} に展開されます。

  展開されたフィールドの名前を変更する (例えば、prefix_s_key_k1 を new_field_name に変更する) には、後で フィールド名変更プラグインを追加してマッピングを完了します。

• その他のパラメーターについては、「ユースケース 2：構造化ログ」の共通設定パラメーターの説明をご参照ください。

json_extract 関数を使用して、JSON 配列から JSON オブジェクトを抽出します。

例：

[{"key1":"value1"},{"key2":"value2"}]

json1:{"key1":"value1"}
json2:{"key2":"value2"}

操作手順：[Logtail 構成] ページの [プロセッサ設定] セクションで、[処理モード] を [SPL] に切り替え、[SPL ステートメント] を設定し、json_extract 関数を使用して JSON 配列から JSON オブジェクトを抽出します。

例：ログフィールド content の JSON 配列から要素を抽出し、結果を新しいフィールド json1 と json2 に保存します。

* | extend json1 = json_extract(content, '$[0]'), json2 = json_extract(content, '$[1]')

#Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status sc-bytes cs-bytes time-taken

c-ip: cs-username
cs-bytes: sc-substatus
cs-method: cs-method
cs-uri-query: cs-uri-query
cs-uri-stem: cs-uri-stem
cs-username: s-port
date: #Fields:
s-computername: s-sitename
s-ip: s-ip
s-sitename: time
sc-bytes: sc-status
sc-status: c-ip
sc-win32-status: cs (User-Agent)
time: date
time-taken: sc-win32-status

• その他のパラメーターについては、「シナリオ 2：構造化ログ」の一般的なパラメーターの説明をご参照ください。

データマスキング

[{'account':'1812213231432969','password':'04a23f38'}, {'account':'1812213685634','password':'123a'}]

[{'account':'1812213231432969','password':'********'}, {'account':'1812213685634','password':'********'}]

ログの時間フィールドを解析し、解析結果をログの __time__ フィールドとして設定します。

例：

{"level":"INFO","timestamp":"2025-09-23T19:11:47+0800","cluster":"yilu-cluster-0728","message":"User logged in successfully","userId":"user-123"}

手順: [Logtail 設定] ページの [プロセッサー設定] セクションで、[プロセッサーの追加] をクリックし、[ネイティブプロセッサー] > [時間パース] を選択します：

• [元のフィールド]：解析前のログコンテンツを含むフィールド。

• [時間形式]：ログのタイムスタンプに対応する時間形式を設定します。

• [タイムゾーン]：ログの時間フィールドのタイムゾーンを選択します。デフォルトでは、これは LoongCollector (Logtail) プロセスが実行されている環境のタイムゾーンです。