Simple Log Service:ホストのテキストログを一括で収集する

操作手順

1. Logstores ページで、対象の Logstore 名の横にある をクリックして展開します。

2. データインポート > Logtail 構成 をクリックします。一括 Logtail 構成 タブで、Logtail 構成の追加 をクリックします。

3. クイックデータインポート ダイアログボックスで、一括ファイル収集 - ホスト カードの 今すぐインポート をクリックします。

4. マシングループ構成 ページで、以下のパラメーターを構成します。

   • ユースケース: ホストシナリオ

   • インストール環境: ECS

   • マシングループの構成: 次の操作は、LoongCollector がインストール済みか、およびマシングループが既に存在するかによって異なります。

     • LoongCollector がインストール済みでマシングループに追加済みの場合は、元のマシングループ リストから該当のマシングループを選択し、適用済みマシングループ リストに追加します。新しいマシングループを作成する必要はありません。

     • LoongCollector が未インストールの場合は、マシングループの作成 をクリックします。

       これらの手順では、LoongCollector の自動インストールおよびマシングループの自動作成を行います。

       1. システムが、Project と同じリージョンにある ECS インスタンスを自動的に一覧表示します。ログを収集する対象のインスタンスを 1 台以上選択します。

       2. インストールおよびマシングループとして作成 をクリックします。システムが選択した ECS インスタンスに LoongCollector を自動的にインストールします。

       3. マシングループの 名前 を入力し、OK をクリックします。

       説明

       インストールが失敗した場合、または保留状態のままになる場合は、ECS インスタンスが Project と同じリージョンにあることを確認してください。

     • 既に LoongCollector がインストール済みのサーバーを既存のマシングループに追加する場合は、「よくある質問」トピック「既存のマシングループにサーバーを追加するには？」をご参照ください。

5. ハートビートステータスの確認: 次へ をクリックします。マシングループハートビートステータス セクションが表示されます。ハートビート ステータスが OK であることを確認し、接続が成功していることを確認します。その後、次へ をクリックして Logtail 構成に進みます。

   ステータスが FAIL の場合、初期ハートビートの確立には若干時間がかかることがあります。約 2 分待ってからステータスを更新してください。それでもステータスが FAIL のままである場合は、「マシングループのハートビート接続が失敗する」を参照してトラブルシューティングを行ってください。

グローバル設定:

• 構成名: 収集設定のカスタム名を入力します。Project 内で一意である必要があります。作成後に変更することはできません。命名規則は以下のとおりです。

  • 小文字、数字、ハイフン (-)、アンダースコア (_) のみを使用できます。

  • 小文字または数字で始まり、小文字または数字で終わる必要があります。

• 実行タイムアウト: デフォルトは 600 秒（10 分）で、有効範囲は 600～604,800 秒（10 分～7 日）です。タスクがこのタイムアウトを超えると、システムがタスクを強制停止し、残りのデータは収集されません。

  重要

  重要: 構成を更新すると、その有効期間がリセットされます。重複したタスクや予期しないデータ報告を回避するため、マシングループの範囲が正しいこと、および以前のタスク実行が指定された 実行タイムアウト を超えていないことを確認してください。

• 構成更新時にタスクを強制再実行 : デフォルトでは無効になっています。

  • 無効:

    • 実行タイムアウト または 入力設定 以外の収集パラメーターを更新した場合、システムは現在の収集進行状況を再開し、タスクを再起動しません。これにより、収集の継続性が保証されます。

    • 実行タイムアウト または 入力設定 を変更した場合、システムは収集タスクを再実行します。

  • 有効: 収集構成を更新すると、収集タスクが最初から再実行されます。これにより、すべてのデータが新しい設定で処理および報告されることを保証します。注: 以前に収集されたデータは削除されません。以前に収集されたデータをクリアするには、「Log Service の論理削除」をご参照ください。

入力設定:

• タイプ: 一括ファイル収集（LoongCollector 3.3 以降で利用可能）。

• ファイルパス: ログを収集するパスです。

  説明

  LoongCollector は、構成を取得する際に、収集対象のファイル一覧およびそのサイズを決定します。この時点以降に新しく作成されたファイルや追加されたコンテンツは収集されません。

  • Linux: パスは前方スラッシュ (/) で始める必要があります。例: /data/mylogs/**/*.log は、/data/mylogs のすべてのサブディレクトリ内の .log 拡張子を持つすべてのファイルを収集します。

  • Windows: パスはドライブ文字で始める必要があります。例: C:\Program Files\Intel\**\*.Log。

• 最大ディレクトリ監視深度: ファイルパス 内の ** ワイルドカードがマッチできる最大ディレクトリ深度です。デフォルトは 0 で、現在のディレクトリのみを監視することを意味します。

シナリオ 2: 構造化ログの処理

192.168.*.* - - [15/Apr/2025:16:40:00 +0800] "GET /nginx-logo.png HTTP/1.1" 0.000 514 200 368 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.*.* Safari/537.36"

body_bytes_sent: 368
http_referer: -
http_user_agent : Mozi11a/5.0 (Nindows NT 10.0; Win64; x64) AppleMebKit/537.36 (KHTML, like Gecko) Chrome/131.0.x.x Safari/537.36
remote_addr:192.168.*.*
remote_user: -
request_length: 514
request_method: GET
request_time: 0.000
request_uri: /nginx-logo.png
status: 200
time_local: 15/Apr/2025:16:40:00

操作手順: プロセッサ構成 セクションの Logtail 構成 ページで:

1. プロセッサの追加: 処理プラグインの追加 をクリックし、ログ形式に応じて「正規表現、デリミタ、または JSON プロセッサ」を構成します。この例では NGINX ログを使用し、「ネイティブプロセッサ > NGINX モードプロセッサ」を選択します。

2. NGINX ログ構成: NGINX サーバーの設定ファイル（nginx.conf）から log_format 定義全体をコピーし、テキストボックスに貼り付けます。

   例:

   log_format main  '$remote_addr - $remote_user [$time_local] "$request" ''$request_time $request_length ''$status $body_bytes_sent "$http_referer" ''"$http_user_agent"';

   重要

   ここで指定するフォーマット定義は、サーバー上でログを生成するために実際に使用されているフォーマットと完全に一致する必要があります。そうでないと、解析が失敗します。

3. 共通パラメーター: 以下のパラメーターは、複数のデータプロセッサで共通しており、同じ目的を果たします。

   • ソースフィールド: 解析対象のソースフィールドを指定します。デフォルトは content で、これは収集されたログエントリ全体を指します。

   • 解析失敗時にソースフィールドを保持: 推奨。プロセッサがログの解析に失敗した場合（例: フォーマットの不一致）、このオプションにより、元のログコンテンツが指定されたソースフィールドに保持されます。

   • 解析成功時にソースフィールドを保持: 選択した場合、解析が成功した後も、元のログコンテンツが保持されます。

操作手順: グローバル設定 > その他のグローバル設定 > ログトピックの種類 セクションで、トピックの生成方法を選択します。以下の 3 つの方法から選択できます。

• マシングループトピック: 収集構成を複数のマシングループに適用する場合、LoongCollector は自動的にサーバーのマシングループ名を __topic__ フィールドの値として使用します。これは、ホストごとにログを分類したい場合に便利です。

• カスタム: customized://<your-topic-name> の形式を使用します。例: customized://app-login。これは、固定されたビジネス識別子を持つ静的なトピックに適しています。

• ファイルパスベースの抽出: ログファイルの完全なパスから重要な情報を抽出して、ログソースを動的にタグ付けします。これは、複数のユーザーまたはアプリケーションが同じログファイル名を使用しているが、異なるパスに配置されている場合に便利です。たとえば、複数のユーザーまたはサービスが異なるトップレベルディレクトリにログを書き込むが、同じサブディレクトリおよびファイル名を使用する場合、ファイル名のみではソースを区別できません。

  /data/logs
  ├── userA
  │   └── serviceA
  │       └── service.log
  ├── userB
  │   └── serviceA
  │       └── service.log
  └── userC
      └── serviceA
          └── service.log

  このような場合、ファイルパスベースの抽出 を構成し、完全なパスから重要な情報を抽出する正規表現を使用できます。Log Service は、マッチした結果を Logstore にログトピックとしてアップロードします。

  ファイルパスベースの抽出ルール: 正規表現キャプチャグループに基づく

  正規表現を構成する際、システムはキャプチャグループの数および名前に基づいて、出力フィールドのフォーマットを自動的に決定します。ルールは以下のとおりです。

  ファイルパスの正規表現では、前方スラッシュ (/) をエスケープする必要があります。

  キャプチャグループの種類	使用例	生成されるフィールド	正規表現の例	マッチしたパスのサンプル	生成されるフィールドのサンプル
  単一のキャプチャグループ（(.*?) が 1 つ）	ソースを区別するために 1 つの次元（例: ユーザー名または環境）のみが必要な場合。	__topic__ フィールドを生成します。	\/logs\/(.*?)\/app\.log	/logs/userA/app.log	__topic__:userA
  複数の名前なしキャプチャグループ（(.*?) が複数）	ソースを区別するために複数の次元が必要だが、意味的なラベルは不要な場合。	キーが __topic_{i}__ となるタグフィールドを生成します。ここで {i} はキャプチャグループのインデックスです。	\/logs\/(.*?)\/(.*?)\/app\.log	/logs/userA/svcA/app.log	__tag__:__topic_1__:userA; __tag__:__topic_2__:svcA
  複数の名前付きキャプチャグループ（(?P<name>.*?) を使用）	ソースを区別するために複数の次元が必要で、クエリおよび分析が容易になるよう明確で意味のあるフィールド名を望む場合。	キーが指定されたキャプチャグループの name となるタグフィールドを生成します。	\/logs\/(?P<user>.*?)\/(?P<service>.*?)\/app\.log	/logs/userA/svcA/app.log	__tag__:user:userA; __tag__:service:svcA

サーバーをマシングループに追加

新しくデプロイされた ECS インスタンスや自己管理サーバーなど、新しいサーバーを既存のマシングループに追加するには、以下の手順に従って、そのサーバーをグループに関連付け、収集構成を適用します。

前提条件

• 既存のマシングループ。

• 新しいサーバーに LoongCollector が「インストール」されています。

操作手順

1. 対象のマシングループのマシングループ識別子を表示します。

   1. 対象の Project で、左側のナビゲーションウィンドウから リソース > マシングループ をクリックします。

   2. マシングループページで、対象のマシングループの名前をクリックします。

   3. マシングループ構成ページで、マシングループ識別子を表示します。

2. 識別子の種類に応じて、以下のいずれかの操作を行います。

   説明

   1 つのマシングループには、Linux サーバーと Windows サーバーを混在させることはできません。Linux サーバーと Windows サーバーの両方に同じユーザー定義識別子を構成しないでください。1 台のサーバーに複数のユーザー定義識別子を構成する場合は、改行で区切ってください。

   • タイプ 1: マシングループ識別子が IP アドレスの場合。

     1. サーバーで、以下のコマンドを実行して app_info.json ファイルを開き、ip パラメーターの値を確認します。

        cat /usr/local/ilogtail/app_info.json

     2. 対象のマシングループの構成ページで、編集 をクリックし、サーバーの IP アドレスを入力します。複数の IP アドレスがある場合は、改行で区切ります。

     3. 構成を完了した後、保存 をクリックし、ハートビートステータスを確認します。ステータスが OK の場合、システムが自動的にマシングループの収集構成をサーバーに適用します。

        ハートビートステータスが FAIL の場合、「マシングループのハートビートステータスが FAIL」を参照してさらにトラブルシューティングを行ってください。

   • タイプ 2: マシングループ識別子がユーザー定義識別子の場合。

     オペレーティングシステムに応じて、対象のマシングループと一致するユーザー定義識別子文字列を指定されたファイルに書き込みます。

     ディレクトリが存在しない場合は、手動で作成します。ファイルパスおよびファイル名は固定されており、カスタマイズできません。

     • Linux: /etc/ilogtail/user_defined_id ファイルにユーザー定義識別子を書き込みます。

     • Windows: C:\LogtailData\user_defined_id ファイルにユーザー定義識別子を書き込みます。

正規表現を使用してログフィールドを抽出し、ログをキーと値のペアに解析します。各フィールドを個別にクエリおよび分析できます。

127.0.0.1 - - [16/Aug/2024:14:37:52 +0800] "GET /wp-admin/admin-ajax.php?action=rest-nonce HTTP/1.1" 200 41 "http://www.example.com/wp-admin/post-new.php?post_type=page" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0"

body_bytes_sent: 41
http_referer: http://www.example.com/wp-admin/post-new.php?post_type=page
http_user_agent: Mozilla/5.0 (Windows NT 10.0; Win64; ×64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0
remote_addr: 127.0.0.1
remote_user: -
request_method: GET
request_protocol: HTTP/1.1
request_uri: /wp-admin/admin-ajax.php?action=rest-nonce
status: 200
time_local: 16/Aug/2024:14:37:52 +0800

操作手順: プロセッサ構成 セクションの Logtail 構成 ページで、プロセッサの追加 をクリックし、「ネイティブプロセッサ > データ解析（正規表現モード）」を選択します。

• 正規表現: ログにマッチする式です。自動生成するか、手動で入力できます。

  • 自動生成:

    • 生成 をクリックします。

    • ログサンプル で、抽出するログコンテンツを選択します。

    • 正規表現の生成 をクリックします。

      

  • 手動入力: 正規表現の手動入力 を、ログ形式に応じて行います。

  構成後、検証 をクリックして、正規表現がログコンテンツを正しく解析できるかどうかをテストします。

• 抽出されたフィールド: 抽出されたログコンテンツ（値）に対応するフィールド名（キー）です。

• その他のパラメーターについては、「シナリオ 2: 構造化ログ」の共通構成パラメーターの説明をご参照ください。

区切り文字を使用してログコンテンツを構造化し、複数のキーと値のペアに解析します。単一文字および複数文字の区切り文字をサポートします。

05/May/2025:13:30:28,10.10.*.*,"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1",200,18204,aliyun-sdk-java

ip:10.10.*.*
request:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1
size:18204
status:200
time:05/May/2025:13:30:28
user_agent:aliyun-sdk-java

操作手順: プロセッサ構成 セクションの Logtail 構成 ページで、プロセッサの追加 をクリックし、「ネイティブプロセッサ > データ解析（デリミタモード）」を選択します。

• デリミタ: ログコンテンツを分割するために使用する文字を指定します。

  例: CSV ファイルの場合は、カスタム を選択し、カンマ (,) を入力します。

• 引用符: フィールド値に区切り文字が含まれる場合、誤った分割を防ぐために、フィールド値を引用符で囲む必要があります。

• 抽出されたフィールド: 各列のフィールド名（キー）を出現順に指定します。ルールは以下のとおりです。

  • フィールド名には、英字、数字、およびアンダースコア (_) のみを使用できます。

  • 英字またはアンダースコア (_) で始める必要があります。

  • 最大長: 128 バイト。

• その他のパラメーターについては、「シナリオ 2: 構造化ログ」の共通構成パラメーターの説明をご参照ください。

オブジェクト型の JSON ログを、キーと値のペアに解析して構造化します。

{"url": "POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek********&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1", "ip": "10.200.98.220", "user-agent": "aliyun-sdk-java", "request": {"status": "200", "latency": "18204"}, "time": "05/Jan/2025:13:30:28"}

ip: 10.200.98.220
request: {"status": "200", "latency" : "18204" }
time: 05/Jan/2025:13:30:28
url: POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek******&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1
user-agent:aliyun-sdk-java

操作手順: プロセッサ構成 セクションの Logtail 構成 ページで、プロセッサの追加 をクリックし、「ネイティブプロセッサ > データ解析（JSON モード）」を選択します。

• 元のフィールド: 解析対象の生ログを含むフィールドです。デフォルト値は content です。

• その他のパラメーターについては、「シナリオ 2: 構造化ログ」の共通構成パラメーターの説明をご参照ください。

拡張深度を指定して、ネストされた JSON ログをキーと値のペアに解析します。

{"s_key":{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}}

0_s_key_k1_k2_k3_k41:41
0_s_key_k1_k2_k3_k4_k51:51
0_s_key_k1_k2_k3_k4_k52:52

1_s_key:{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}

操作手順: プロセッサ構成 セクションの Logtail 構成 ページで、プロセッサの追加 をクリックし、「拡張プロセッサ > JSON フィールドの展開」を選択します。

• 元のフィールド: 展開対象のソースフィールドの名前を指定します。例: content。

• JSON 展開深度: JSON オブジェクトの展開深度です。0（デフォルト）は完全展開、1 は現在のレベルの展開、以下同様です。

• 展開されたキーの連結文字: JSON オブジェクトを展開する際に、フィールド名の区切り文字として使用する文字です。デフォルト値はアンダースコア (_) です。

• 展開されたキーのプレフィックス: JSON 展開後のフィールド名のプレフィックスです。

• 配列の展開: 配列をインデックス付きのキーと値のペアに展開します。

  例: {"k":["a","b"]} は {"k[0]":"a","k[1]":"b"} に展開されます。

  展開されたフィールドの名前を変更する場合（例: prefix_s_key_k1 を new_field_name に変更）、マッピングを完了するために、その後に フィールド名の変更プラグイン を追加します。

• その他のパラメーターについては、「シナリオ 2: 構造化ログ」の共通構成パラメーターの説明をご参照ください。

json_extract 関数 を使用して、JSON 配列から JSON オブジェクトを抽出します。

例:

[{"key1":"value1"},{"key2":"value2"}]

json1:{"key1":"value1"}
json2:{"key2":"value2"}

操作手順: プロセッサ構成 セクションの Logtail 構成 ページで、処理モード を SPL に切り替え、SPL ステートメント を構成し、json_extract 関数を使用して、JSON 配列から JSON オブジェクトを抽出します。

例: ログフィールド content の JSON 配列から要素を抽出し、新しいフィールド json1 および json2 に格納します。

* | extend json1 = json_extract(content, '$[0]'), json2 = json_extract(content, '$[1]')

#Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status sc-bytes cs-bytes time-taken

c-ip: cs-username
cs-bytes: sc-substatus
cs-method: cs-method
cs-uri-query: cs-uri-query
cs-uri-stem: cs-uri-stem
cs-username: s-port
date: #Fields:
s-computername: s-sitename
s-ip: s-ip
s-sitename: time
sc-bytes: sc-status
sc-status: c-ip
sc-win32-status: cs (User-Agent)
time: date
time-taken: sc-win32-status

• その他のパラメーターの詳細については、「シナリオ 2: 構造化ログ」をご参照ください。

データマスキング

[{'account':'1812213231432969','password':'04a23f38'}, {'account':'1812213685634','password':'123a'}]

[{'account':'1812213231432969','password':'********'}, {'account':'1812213685634','password':'********'}]

ログ内の時間フィールドを解析し、その解析結果をログの __time__ フィールドとして設定します。

例：

{"level":"INFO","timestamp":"2025-09-23T19:11:47+0800","cluster":"yilu-cluster-0728","message":"User logged in successfully","userId":"user-123"}

操作手順： [Logtail 設定] ページの [プロセッサー設定] セクションで、[プロセッサーの追加] をクリックし、[ネイティブプロセッサー] > [時間解析] を選択します。

• [元のフィールド]： 解析前のログ内容が含まれるフィールドです。

• [時間フォーマット]： ログ内のタイムスタンプに対応する時間フォーマットを設定します。

• [タイムゾーン]： ログの時間フィールドのタイムゾーンを選択します。デフォルトでは、LoongCollector (Logtail) プロセスが実行されている環境のタイムゾーンが使用されます。