処理プラグインは、収集時に生ログを構造化データに解析します。
背景情報
Simple Log Service (SLS) には、ネイティブプラグインと拡張プラグインの 2 種類の処理プラグインが用意されています。
ネイティブプラグイン：高性能で、ほとんどのシナリオに適しています。デフォルトとして選択することを推奨します。
拡張プラグイン：より多くのユースケースに対応しますが、追加のリソースを消費します。ネイティブプラグインでログ形式を処理できない場合に使用してください。
制限
パフォーマンスに関する制限
ログ収集に関する制限
拡張プラグインは、行モードでテキストログを処理します。
__tag__:__path__や__topic__などのファイルレベルのメタデータは、各ログに保存されます。拡張プラグインは、タグ関連の機能に影響します。
aggregators 構成を追加しない限り、コンテキストクエリと LiveTail が利用できなくなります。
__topic__フィールドは__log_topic__に名前が変更されます。aggregators 構成を使用すると、ログには__topic__フィールドと__log_topic__フィールドの両方が含まれます。__log_topic__フィールドを削除するには、フィールド処理プラグインを使用してください。__tag__:__path__などのフィールドでは、ネイティブフィールドインデックスが失われます。これらのフィールドに対してフィールドインデックスを作成する必要があります。
プラグインの組み合わせに関する制限
Logtail バージョン 2.0 より前の場合：
ネイティブプラグインと拡張プラグインを組み合わせることはできません。
ネイティブプラグインはテキストログ収集のみをサポートしており、次の要件があります。
最初のプラグインは、データ解析プラグイン (正規表現、区切り文字、JSON、NGINX、Apache、または IIS モード) である必要があります。
最初のプラグインの後に追加できるのは、時刻解析プラグインを 1 つ、データフィルタリングプラグインを 1 つ、データマスキングプラグインを複数のみです。
Logtail 2.0 では、拡張プラグインをすべてのネイティブプラグインの後に配置してください。
ネイティブプラグインのパラメータの組み合わせに関する制限
Logtail バージョン 2.0 より前のネイティブ解析プラグイン (正規表現、JSON、区切り文字、NGINX、Apache、および IIS モード) では、特定のパラメータの組み合わせのみが有効です。他の組み合わせでは、予測できない結果が生じる可能性があります。
解析に成功したログのみをアップロードする場合：
[解析失敗時に元のフィールドを保持] チェックボックスと [解析成功時に元のフィールドを保持] チェックボックスをオフにします。
解析成功時には解析済みログを、解析失敗時には生ログをアップロードする場合：
[解析失敗時に元のフィールドを保持] チェックボックスをオンにし、[解析成功時に元のフィールドを保持] チェックボックスをオフにして、[名前を変更した元のフィールド] を
__raw__に設定します。解析成功時には解析済みログと元のログフィールドの両方をアップロードし、解析失敗時には生ログをアップロードする場合：
たとえば、
"content": "{"request_method":"GET", "request_time":"200"}"を含むログを正常に解析した後、解析済みログに新しいフィールドが追加されます。このフィールドの名前は、「名前を変更した元のフィールド」の値 (空の場合は元のフィールド名) です。この新しいフィールドの値は元のコンテンツ{"request_method":"GET", "request_time":"200"}です。[解析失敗時に元のフィールドを保持] チェックボックスと [解析成功時に元のフィールドを保持] チェックボックスをオンにします。[詳細パラメータ] スイッチをオンにして、
{"CopyingRawLog":true}と入力します。Logtail バージョン 2.0 より前では、一部のパラメータの組み合わせのみが有効です。
処理プラグインのリスト
ネイティブプラグイン
プラグイン名 | 説明 |
データ解析 (正規表現モード) | |
データ解析 (JSON モード) | |
データ解析 (区切り文字モード) | |
データ解析 (NGINX モード) | |
データ解析 (Apache モード) | |
データ解析 (IIS モード) | |
時刻解析 | |
データフィルタリング | |
データマスキング |
拡張プラグイン
機能 | 説明 |
フィールドの抽出 | |
フィールドの追加 | |
フィールドの削除 | |
フィールド名の変更 | |
フィールドのカプセル化 | フィールドを JSON オブジェクトにカプセル化します。詳細については、「フィールド処理プラグイン」をご参照ください。 |
JSON フィールドの展開 | |
ログのフィルタリング | フィールド値を正規表現と照合してログをフィルタリングします。詳細については、「データフィルタリングプラグイン」をご参照ください。 |
フィールド名を正規表現と照合してログをフィルタリングします。詳細については、「データフィルタリングプラグイン」をご参照ください。 | |
ログ時刻の抽出 | 生ログから時刻フィールドを解析し、ログ時刻を設定します。詳細については、「時刻解析プラグイン」をご参照ください。 |
IP アドレスの変換 | IP アドレスを地理的位置 (国、都道府県、市区町村、座標) に変換します。詳細については、「データ変換プラグイン」をご参照ください。 |
機密データのマスキング | 機密性の高いログデータを、指定した文字列または MD5 ハッシュに置き換えます。詳細については、「データマスキングおよび暗号化プラグイン」をご参照ください。 |
フィールド値のマッピング | |
フィールドの暗号化 | |
データのエンコードとデコード | |
ログからメトリクスへの変換 | ログを SLS メトリクスに変換します。詳細については、「データ変換プラグイン」をご参照ください。 |
ログからトレースへの変換 | ログを SLS トレースに変換します。詳細については、「データ変換プラグイン」をご参照ください。 |
プラグインの追加
構成の変更
Simple Log Service (SLS) コンソールにログインします。
プロジェクトリストで、対象のプロジェクトをクリックします。
ログ管理 > [Logstores] タブで、対象の Logstore の横にある [>] アイコンをクリックし、データのインポート > Logtail 設定 に移動します。
Logtail の設定 リストで、目的の Logtail 設定を見つけ、アクション 列の Logtail 設定の管理 をクリックします。
ページの上部で、編集 をクリックします。ページ下部の 設定の処理 セクションで、プラグインを追加し、保存 をクリックします。
構成の作成
Simple Log Service (SLS) コンソールにログインします。
ページの右側で、データのインポート カードをクリックします。
データのインポート ダイアログボックスで、カードをクリックしてウィザードに従います。Logtail構成 ステップで、プラグインを追加します。ホストからテキストログを収集する。
説明プラグイン設定は、新規および既存の Logtail 設定で同じです。