Simple Log Service:ナノ秒精度のタイムスタンプによるログ収集

手順 1：プロジェクトと Logstore の作成

すでにプロジェクトと Logstore がある場合は、手順 2：マシングループの設定と LoongCollector のインストールに進んでください。

そうでない場合は、ログを管理および保存するためのリソースを作成します。

1. Simple Log Service (SLS) コンソールにログインします。

2. プロジェクトの作成 をクリックし、次のパラメーターを設定します。

   • リージョン： ログの発生元に基づいてリージョンを選択します。プロジェクト作成後にリージョンは変更できません。

   • プロジェクト名： Alibaba Cloud 内でグローバルに一意の名前を入力します。プロジェクト作成後に名前は変更できません。

3. 他のパラメーターはデフォルト設定のままにして、[作成] をクリックします。詳細については、「プロジェクトの管理」をご参照ください。

4. プロジェクト名をクリックして、プロジェクトに移動します。

5. 左側メニューで、 [ログ管理] を選択し、+ をクリックします。

6. [Logstore の作成] ページで、次のパラメーターを設定します。

   • [Logstore 名]： プロジェクト内で一意の名前を設定します。Logstore 作成後に名前は変更できません。

   • [Logstore タイプ]： 仕様比較に基づいて、Standard または Query を選択します。

   • [課金モード]：

     • [使用機能に基づく課金]： ストレージ、インデックス、読み書き操作など、リソースごとに個別に課金されます。このモードは、小規模なシナリオや、機能の使用量がまだ不確かなシナリオに適しています。

     • [書き込みデータ量課金]： 取り込まれた生データに対してのみ課金されます。このモードには、30 日間の無料ストレージ期間と、データ変換や配信などの無料機能が含まれています。コストモデルがシンプルで、ストレージ期間が 30 日に近いシナリオや、データ処理パイプラインが複雑なシナリオに適しています。

   • [Data Retention Period]： ログを保持する日数を設定します。有効な値：1～3,650。値 3,650 は永続的な保持を示します。デフォルト値：30。

7. 他のパラメーターはデフォルト設定のままにして、OK をクリックします。詳細については、「Logstore の管理」をご参照ください。

手順 2：マシングループの設定と LoongCollector のインストール

サーバーに LoongCollector をインストールし、サーバーをマシングループに追加します。このトピックでは、LoongCollector がインストールされた Elastic Compute Service (ECS) インスタンスを例として使用します。この場合、ECS インスタンスと SLS プロジェクトは同じ Alibaba Cloud アカウントとリージョンに属します。ECS インスタンスとプロジェクトが同じアカウントまたはリージョンに属していない場合、または自己管理型サーバーを使用する場合は、LoongCollector のインストールを参照して、コレクターを手動でインストールしてください。

[Logstores] ページで、

• 対象の Logstore 名の前にある をクリックして展開します。

• [データのインポート] の横にある をクリックします。

• 表示されたダイアログボックスで、テキストログテンプレートを選択します。このトピックでは、[単一行 - テキストログ] テンプレートを例として使用します。今すぐ統合 をクリックします。すべてのテキストログテンプレートは、解析プロセッサーのみが異なり、残りの設定プロセスは同じです。後ですべての設定を変更できます。

設定手順：

1. サーバグループ設定 ページで、次のパラメーターを設定します。

   • [使用シナリオ]： [ホストシナリオ]

   • [インストール環境]： ECS

2. マシングループの設定： 対象サーバーの LoongCollector のインストールステータスとマシングループのステータスに合わせてアクションを選択します。

   • LoongCollector がすでにインストールされており、サーバーがすでにマシングループに属している場合は、ソースサーバーグループ リストからグループを選択し、適用されたサーバーグループ リストに追加します。グループを再度作成する必要はありません。

   • LoongCollector がインストールされていない場合は、マシングループの作成 をクリックします。 次の手順では、LoongCollector の自動インストールと新しいマシングループの作成について説明します。

     1. システムは、プロジェクトと同じリージョンにある ECS インスタンスを自動的にリストアップします。ログを収集するインスタンスを 1 つ以上選択します。

     2. マシングループとしてインストールおよび作成する をクリックします。システムは、選択した ECS インスタンスに LoongCollector を自動的にインストールします。

     3. マシングループの 名前 を設定し、OK をクリックします。 インストールが失敗した場合、または待機状態のままの場合は、ECS インスタンスがプロジェクトと同じリージョンにあるかどうかを確認してください。

3. LoongCollector がすでにインストールされているサーバーを既存のマシングループに追加するには、FAQ トピック 「既存のマシングループにサーバーを追加するにはどうすればよいですか？」 をご参照ください。

手順 3：収集設定の作成

コンソールでの設定： Logtail 設定 ページに移動して、ログの収集と処理のルールを定義します。

1. ナノ秒精度サポートの有効化 ログソースと収集ルールを定義し、ナノ秒精度サポートを有効にします。

[グローバル設定]：

• [設定名]： プロジェクト内で一意の名前を設定します。設定作成後に名前は変更できません。

• [その他のグローバル設定]： [詳細設定] スイッチをオンにし、次の JSON コンテンツを入力してナノ秒精度サポートを有効にします。

{
  "EnableTimestampNanosecond": true
}

[入力設定]：

• [タイプ]： [テキストログ収集]。

• [ファイルパス]： ログが収集されるパス。

  • Linux：スラッシュ (/) で始まります。たとえば、/data/mylogs/**/*.log は /data/mylogs ディレクトリ内の .log 拡張子を持つすべてのファイルを指定します。

  • Windows：ドライブ文字で始まります。例：C:\Program Files\Intel\**\*.Log。

• [ディレクトリ監視の最大深度]： ファイルパス の ** ワイルドカードがマッチする最大ディレクトリ深度です。デフォルト値：0 (現在のディレクトリのみを監視)。

  2. プロセッサーの設定 ソースログは JSON 形式であるため、[処理手順] セクションで JSON 解析 プロセッサーを追加します。このプロセッサーは、JSON 形式の生ログを解析し、複数の独立したフィールド (キーと値のペア) に分割します。

• ログサンプルの追加

  ログファイルに次の形式のログが含まれていると仮定します。ここで、asctime フィールドにはナノ秒精度のタイムスタンプが含まれています。

{
  "asctime": "2023-10-25 23:51:10,199999999",
  "filename": "generate_data.py",
  "levelname": "INFO",
  "lineno": 51,
  "module": "generate_data",
  "message": "{\"no\": 14, \"inner_loop\": 166, \"loop\": 27451, \"uuid\": \"9be98c29-22c7-40a1-b7ed-29ae6c8367af\"}",
  "threadName": "MainThread"
}

• JSON 解析プロセッサーの追加

  処理プラグインの追加 をクリックし、ネイティブ処理プラグイン > JSON 解析 を選択し、確認 をクリックします。

• 時間解析プロセッサーの追加

  前の手順で抽出した時刻文字列 (asctime フィールド) を標準のナノ秒タイムスタンプに変換し、ログのイベント時刻として使用します。

3. インデックスの設定 Logtail の設定が完了したら、次へ をクリックします。クエリと分析の設定 ページが表示されます。

• システムはデフォルトで全文インデックスを有効にします。これにより、生ログコンテンツ内のキーワード検索が可能になります。

• フィールドごとに正確なクエリを実行するには、ページに[プレビューデータ] が読み込まれるまで待ってから、自動インデックスの生成 をクリックします。SLS は、プレビューデータの最初のエントリに基づいてフィールドインデックスを生成します。

  設定が完了したら、次へ をクリックして、収集プロセス全体の設定を完了します。

CRD を使用した設定 (Kubernetes シナリオ) ACK クラスターまたは自己管理型 Kubernetes クラスターでは、AliyunLog CRD を使用してナノ秒精度タイムスタンプの収集を設定できます。次の YAML コンテンツをファイルに保存し、kubectl apply -f <filename> を実行して設定を適用します。次のサンプルに、3 つのプロセッサーの設定例を示します。

apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig
metadata:
  name: ${your-config-name}
spec:
  config:
    aggregators: []
    global:
      EnableTimestampNanosecond: true
    inputs:
      - Type: input_file
        FilePaths:
          - /test/sls/json_nano.log
        MaxDirSearchDepth: 0
        FileEncoding: utf8
        EnableContainerDiscovery: true
    processors:
      - Type: processor_parse_json_native
        SourceKey: content
      - Type: processor_parse_timestamp_native
        SourceKey: asctime
        SourceFormat: '%Y-%m-%d %H:%M:%S,%f'
    flushers:
      - Type: flusher_sls
        Logstore: ${your-logstore-name}
    sample: |-
      {
        "asctime": "2025-11-03 15:39:14,229939478",
        "filename": "log_generator.sh",
        "levelname": "INFO",
        "lineno": 204,
        "module": "log_generator",
        "message": "{\"no\": 45, \"inner_loop\": 15, \"loop\": 1697, \"uuid\": \"80366fca-a57d-b65a-be07-2ac1173505d9\"}",
        "threadName": "MainThread"
      }
  project:
    name: ${your-project-name}
  logstores:
    - name: ${your-logstore-name}

apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig
metadata:
  name: ${your-config-name}
spec:
  config:
    aggregators: []
    global:
      EnableTimestampNanosecond: true
    inputs:
      - Type: input_file
        FilePaths:
          - /test/sls/json_nano.log
        MaxDirSearchDepth: 0
        FileEncoding: utf8
        EnableContainerDiscovery: true
    processors:
      - Type: processor_parse_json_native
        SourceKey: content
      - Type: processor_strptime
        SourceKey: asctime
        Format: '%Y-%m-%d %H:%M:%S,%f'
        KeepSource: true
        AlarmIfFail: true
        AdjustUTCOffset: false
    flushers:
      - Type: flusher_sls
        Logstore: ${your-logstore-name}
    sample: |-
      {
        "asctime": "2025-11-03 15:39:14,229939478",
        "filename": "log_generator.sh",
        "levelname": "INFO",
        "lineno": 204,
        "module": "log_generator",
        "message": "{\"no\": 45, \"inner_loop\": 15, \"loop\": 1697, \"uuid\": \"80366fca-a57d-b65a-be07-2ac1173505d9\"}",
        "threadName": "MainThread"
      }
  project:
    name: ${your-project-name}
  logstores:
    - name: ${your-logstore-name}

apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig
metadata:
  name: ${your-config-name}
spec:
  config:
    aggregators: []
    global:
      EnableTimestampNanosecond: true
    inputs:
      - Type: input_file
        FilePaths:
          - /test/sls/json_nano.log
        MaxDirSearchDepth: 0
        FileEncoding: utf8
        EnableContainerDiscovery: true
    processors:
      - Type: processor_parse_json_native
        SourceKey: content
      - Type: processor_gotime
        SourceKey: asctime
        SourceFormat: '2006-01-02 15:04:05,999999999'
        DestKey: result_asctime
        DestFormat: '2006-01-02 15:04:05,999999999Z07:00'
        SetTime: true
        KeepSource: true
        NoKeyError: true
        AlarmIfFail: true
    flushers:
      - Type: flusher_sls
        Logstore: ${your-logstore-name}
    sample: |-
      {
        "asctime": "2025-11-03 15:39:14,229939478",
        "filename": "log_generator.sh",
        "levelname": "INFO",
        "lineno": 204,
        "module": "log_generator",
        "message": "{\"no\": 45, \"inner_loop\": 15, \"loop\": 1697, \"uuid\": \"80366fca-a57d-b65a-be07-2ac1173505d9\"}",
        "threadName": "MainThread"
      }
  project:
    name: ${your-project-name}
  logstores:
    - name: ${your-logstore-name}

CRD 設定を適用した後、Logstore にナノ秒精度のタイムスタンプを持つログが着信していることを確認し、収集設定が有効であることを検証します。

手順 4：結果の検証

設定が完了したら、新しいログデータが Logstore に収集されるまでしばらく待ちます。

SLS のクエリと分析ページで、収集されたログを表示します。コンソールは、高精度の時刻情報に基づいて表示を自動的に最適化し、時刻をミリ秒、マイクロ秒、またはナノ秒形式で表示します。

ログクエリの結果では、タイムスタンプは 2025-11-03 17:34:40.747598929 のような形式で表示されます。

ナノ秒精度が正しく機能していることを確認するには、クエリを実行して __time_ns_part__ フィールドを確認します。

* | SELECT __time__, __time_ns_part__, * FROM log WHERE __time_ns_part__ > 0 ORDER BY __time__, __time_ns_part__ LIMIT 10

クエリが、0～999,999,999 の範囲の __time_ns_part__ 値を含む結果を返した場合、ナノ秒精度は有効であり、正しく機能しています。__time_ns_part__ フィールドが空であるか、ゼロのみを含む場合は、収集設定を見直して、次のことを確認してください。

• [詳細設定] スイッチがオンになっており、{ "EnableTimestampNanosecond": true } が含まれていること。

• 時間解析プロセッサーが、生ログのタイムスタンプと一致する正しい時間フォーマットで設定されていること。

• サーバー上の Logtail のバージョンが 1.8.0 以降であること。

収集したログ内のナノ秒タイムスタンプが正しく解析されないのはなぜですか？

収集設定の完了後、高精度時刻が想定どおりに抽出されません。

ログビューアのインデックス時刻は 10-26 00:30:39 ですが、ログレコードの asctime は 2023-10-26 00:30:10,199999999 です。2つの値が一致していないため、高精度時刻が正しく抽出されていないことを示しています。ログレコードの詳細は次のとおりです：

__file_offset__  xxx
__tag__  xxx
asctime: 2023-10-26 00:30:10,199999999
filename: xxx
levelname: INFO
lineno: 51
message: {"no": 14, "inner_loop": 166, "loop": 27451, "uuid": "9be98c29-22c7-40a1-b7ed-29ae6c8367af"}
module: generate_data
threadName: MainThread

原因

プロセッサーモードは %f をサポートしていますが、時刻フォーマットはソース時刻の表記と完全に一致させる必要があります。

解決策

1. LoongCollector (Logtail) サーバーにログインし、ログを確認します。STRPTIME_PARSE_ALARM の例外ログが大量に出力されていることが分かります。

   tail -f /usr/local/ilogtail/logtail_plugin.LOG
   2023-10-26 00:30:39 [WRN] [strptime.go:164] [processLog] [##1.0##xxxx,xxx]    AlarmType:STRPTIME_PARSE_ALARM    strptime(2023-10-26 00:30:10,199999999, %Y-%m-%d %H:%M:%S %f) failed: 0001-01-01 00:00:00 +0000 UTC, <nil>

2. プロセッサーのログ解析フォーマットを変更します。

   生ログでは、時刻は 2023-10-26 00:30:10,199999999 であり、秒と高精度時刻 (この例ではナノ秒) の間の区切り文字はカンマ (,) です。一方、解析フォーマット %Y-%m-%d %H:%M:%S %f では、秒と高精度時刻の間の区切り文字は半角スペースです。この問題を修正するには、収集設定の時刻変換フォーマットを %Y-%m-%d %H:%M:%S,%f に変更します。