Simple Log Service:収集中のデータ処理 (プラグイン)

背景情報

プラグインは、ネイティブプラグインと拡張プラグインに分類されます。

• ネイティブプラグイン：優れたパフォーマンスを提供し、ほとんどのユースケースで推奨されます。

• 拡張プラグイン：より広範な機能を提供します。 ログが複雑すぎてネイティブプラグインでは対応できない場合は、拡張プラグインの使用をご検討ください。 ただし、パフォーマンスが低下する可能性があります。

制限事項

• パフォーマンスに関する制限事項

  • 拡張プラグインを使用してログを処理する場合、Logtail はより多くのリソース (主に CPU) を消費します。 実際のニーズに基づいて Logtail パラメーターを調整してください。 詳細については、「Logtail の起動パラメーターの設定」をご参照ください。

  • 生データレートが 5 MB/s を超える場合は、複雑なプラグインの組み合わせを避けてください。 拡張プラグインで簡単な処理を実行し、より高度なタスクにはデータ変換を使用します。

• ログ収集に関する制限事項

  • 拡張プラグインは、テキストログを 1 行ずつ処理します。 つまり、__tag__:__path__ や __topic__ などのファイルレベルのメタデータが各ログに追加されます。

  • 拡張プラグインを追加すると、タグ関連の機能に影響します：

    • コンテキスト検索機能と LiveTail 機能は無効になります。 これらの機能を使用するには、`aggregators` 構成を追加する必要があります。

    • __topic__ フィールドは __log_topic__ に名前が変更されます。 `aggregators` 構成を追加すると、ログには __topic__ フィールドと __log_topic__ フィールドの両方が含まれます。 __log_topic__ フィールドが不要な場合は、processor_drop プラグインを使用して削除できます。

    • __tag__:__path__ などのフィールドには、ネイティブフィールドインデックスがなくなります。 フィールドインデックスを作成する必要があります。

• プラグインの組み合わせに関する制限事項

  • 2.0 より前の Logtail バージョンの場合：

    • ネイティブプラグインと拡張プラグインを同時に追加することはできません。

    • ネイティブプラグインは、テキストログの収集にのみ使用できます。 ネイティブプラグインを使用する場合、次の要件が適用されます：

      • 最初のプラグインは、正規表現解析、デリミタモード解析、JSON 解析、Nginx モード解析、Apache モード解析、または IIS モード解析プラグインである必要があります。

      • 最初の処理プラグインの後に追加できるのは、時間解析プラグイン 1 つ、データフィルタリングプラグイン 1 つ、および複数のデータマスキングプラグインのみです。

  • Logtail 2.0 の場合：拡張プラグインは、すべてのネイティブプラグインの後でのみ追加できます。

• ネイティブ解析プラグインのパラメーターの組み合わせに関する制限事項

  2.0 より前の Logtail バージョンのネイティブ解析プラグイン (正規表現解析、JSON 解析、デリミタモード解析、Nginx モード解析、Apache モード解析、IIS モード解析プラグインなど) では、さまざまなシナリオに応じて特定のパラメーターの組み合わせを使用する必要があります。 その他の組み合わせは無効であり、Simple Log Service は結果を保証できません。

  • 正常に解析されたログのみをアップロード：

    

  • 成功した場合は解析済みログをアップロードし、失敗した場合は生ログをアップロード：

    

  • 解析が成功した場合、解析されたログは生ログフィールドが追加されてアップロードされます。 失敗した場合は、生ログがアップロードされます。

    たとえば、生ログ "content": "{"request_method":"GET", "request_time":"200"}" が正常に解析された場合、生ログフィールドを追加すると、解析されたログに新しいフィールドが追加されます。 新しいフィールドの名前はカスタマイズできます。 指定しない場合、デフォルトで元のフィールド名になります。 フィールド値は生ログです： {"request_method":"GET", "request_time":"200"}。

    

プラグイン一覧

ネイティブプラグイン

拡張プラグイン

プラグインの追加