Logtail パイプライン構成を作成します。
今すぐお試しください
テスト
RAM 認証
|
アクション |
アクセスレベル |
リソースタイプ |
条件キー |
依存アクション |
|
log:CreateLogtailPipelineConfig |
create |
*All Resource
|
|
なし |
リクエスト構文
POST /pipelineconfigs HTTP/1.1
リクエストパラメーター
|
パラメーター |
型 |
必須 / 任意 |
説明 |
例 |
| project |
string |
必須 |
プロジェクトの名前です。 |
test-project |
| body |
object |
任意 |
Logtail パイプライン構成のコンテンツです。 |
|
| configName |
string |
必須 |
構成の名前です。 説明
構成名はプロジェクト内で一意である必要があり、構成の作成後は変更できません。名前は次の要件を満たす必要があります:
|
test-config |
| logSample |
string |
任意 |
サンプルログです。複数のログがサポートされています。 |
2022-06-14 11:13:29.796 | DEBUG | __main__: |
| global |
object |
任意 |
グローバル構成です。 |
|
| inputs |
array<object> |
必須 |
入力プラグインのリストです。 重要 現在、設定できる入力プラグインは 1 つだけです。 |
|
|
object |
任意 |
入力プラグインです。 |
{ "Type": "input_file", "FilePaths": ["/var/log/*.log"] } |
|
| processors |
array<object> |
任意 |
処理プラグインのリストです。 説明
処理プラグインは、ネイティブ処理プラグインと拡張処理プラグインに分類されます。詳細については、「処理プラグイン」をご参照ください。 重要
説明
|
|
|
object |
任意 |
処理プラグインです。 説明
ネイティブ処理プラグインと拡張処理プラグインの詳細については、「処理プラグイン」をご参照ください。 |
{ "Type": "processor_parse_json_native", "SourceKey": "content" } |
|
| aggregators |
array<object> |
任意 |
集約プラグインのリストです。 重要 このパラメーターは、拡張処理プラグインを使用する場合にのみ有効です。最大 1 つの集約プラグインを使用できます。 |
|
|
object |
任意 |
集約プラグインです。 |
||
| flushers |
array<object> |
必須 |
出力プラグインのリストです。 重要 現在、設定できる flusher_sls プラグインは 1 つだけです。 |
|
|
object |
任意 |
出力プラグインです。 |
{ "Type": "flusher_sls", "Logstore": "test" } |
|
| task |
object |
任意 |
グローバル構成
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| TopicType | string | いいえ | 空 | filepath | トピックタイプです。有効な値:
|
| TopicFormat | string | いいえ。このパラメーターは、TopicType を filepath または custom に設定した場合に必須です。 | / | /var/log/(.*).log | トピックのフォーマットです。 |
| EnableTimestampNanosecond | bool | いいえ | false | false | タイムスタンプのナノ秒精度を有効にするかどうかを指定します。 |
| PipelineMetaTagKey | object | いいえ | 空 | {"HOST_NAME":"__hostname__"} | 重要 このパラメーターは、LoongCollector 3.0.10 以降でのみサポートされます。
|
入力プラグイン
ファイル入力プラグイン
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | input_file | プラグインのタイプです。値を input_file に設定します。 |
| FilePaths | [string] | はい | / | ["/var/log/*.log"] | 収集したいログファイルのパスのリストです。現在、指定できるパスは 1 つだけです。パスにはワイルドカード (*) と (**) を使用できます。ワイルドカード (**) は、ファイル名の前に 1 回だけ出現できます。 |
| MaxDirSearchDepth | uint | いいえ | 0 | 0 | ファイルパスのワイルドカード (**) が一致できるディレクトリの最大深度です。このパラメーターは、ログパスでワイルドカード (**) が使用されている場合にのみ有効です。有効な値:0~1000。 |
| ExcludeFilePaths | [string] | いいえ | 空 | ["/home/admin/*.log"] | ファイルパスのブラックリストです。パスは絶対パスである必要があります。ワイルドカード (*) を使用できます。 |
| ExcludeFiles | [string] | いいえ | 空 | ["app*.log", "password"] | ファイル名のブラックリストです。ワイルドカード (*) を使用できます。 |
| ExcludeDirs | [string] | いいえ | 空 | ["/home/admin/dir1", "/home/admin/dir2*"] | ディレクトリのブラックリストです。パスは絶対パスである必要があります。ワイルドカード (*) を使用できます。 |
| FileEncoding | string | いいえ | utf8 | utf8 | ファイルのエンコード形式です。有効な値:utf8 と gbk。 |
| TailSizeKB | uint | いいえ | 1024 | 1024 | 構成が最初に有効になったときにファイルの末尾から収集されるデータのサイズです。ファイルサイズがこの値より小さい場合、データはファイルの先頭から収集されます。有効な値:0~10485760 KB。 |
| Multiline | object | いいえ | 空 | / | 複数行集約オプションです。 |
| Multiline.Mode | string | いいえ | custom | custom | 複数行集約モードです。有効な値:custom と JSON。 |
| Multiline.StartPattern | string | このパラメーターは、Multiline.Mode を custom に設定した場合に必須です。 | 空 | \d+-\d+-\d+.* | ログエントリの開始を示す正規表現です。 |
| EnableContainerDiscovery | bool | いいえ | false | true | コンテナー検出を有効にするかどうかを指定します。このパラメーターは、Logtail が DaemonSet モードで実行され、収集ファイルパスがコンテナー内のパスである場合にのみ有効です。 |
| ContainerFilters | object | いいえ | 空 | / | コンテナーフィルタリングオプションです。複数のオプションは論理 AND で結合されます。このパラメーターは、EnableContainerDiscovery を true に設定した場合にのみ有効です。 |
| ContainerFilters.K8sNamespaceRegex | string | いいえ | 空 | default | Kubernetes 環境にデプロイされたコンテナーの場合、収集対象のコンテナーが配置されている Pod の名前空間条件を指定します。このパラメーターを追加しない場合、すべてのコンテナーが収集されます。正規表現がサポートされています。 |
| ContainerFilters.K8sPodRegex | string | いいえ | 空 | test-pod | Kubernetes 環境にデプロイされたコンテナーの場合、収集対象のコンテナーが配置されている Pod の名前条件を指定します。このパラメーターを追加しない場合、すべてのコンテナーが収集されます。正規表現がサポートされています。 |
| ContainerFilters.IncludeK8sLabel | map | いいえ | 空 | / | Kubernetes 環境にデプロイされたコンテナーの場合、収集対象のコンテナーが配置されている Pod のラベル条件を指定します。複数の条件は論理 OR で結合されます。このパラメーターを追加しない場合、すべてのコンテナーが収集されます。正規表現がサポートされています。マップのキーは Pod ラベル名で、値は Pod ラベル値です。次のルールが適用されます:
|
| ContainerFilters.ExcludeK8sLabel | map | いいえ | 空 | / | Kubernetes 環境にデプロイされたコンテナーの場合、収集から除外するコンテナーが配置されている Pod のラベル条件を指定します。複数の条件は論理 OR で結合されます。このパラメーターを追加しない場合、すべてのコンテナーが収集されます。正規表現がサポートされています。マップのキーは Pod ラベル名で、値は Pod ラベル値です。次のルールが適用されます:
|
| ContainerFilters.K8sContainerRegex | string | いいえ | 空 | test-container | Kubernetes 環境にデプロイされたコンテナーの場合、収集対象のコンテナーの名前条件を指定します。このパラメーターを追加しない場合、すべてのコンテナーが収集されます。正規表現がサポートされています。 |
| ContainerFilters.IncludeEnv | map | いいえ | 空 | / | 収集対象のコンテナーの環境変数条件を指定します。複数の条件は論理 OR で結合されます。このパラメーターを追加しない場合、すべてのコンテナーが収集されます。正規表現がサポートされています。マップのキーは環境変数名で、値は環境変数値です。次のルールが適用されます:
|
| ContainerFilters.ExcludeEnv | map | いいえ | 空 | / | 収集から除外するコンテナーの環境変数条件を指定します。複数の条件は論理 OR で結合されます。このパラメーターを追加しない場合、すべてのコンテナーが収集されます。正規表現がサポートされています。マップのキーは環境変数名で、値は環境変数値です。次のルールが適用されます:
|
| ContainerFilters.IncludeContainerLabel | map | いいえ | 空 | / | 収集対象のコンテナーのラベル条件を指定します。複数の条件は論理 OR で結合されます。このパラメーターを追加しない場合、デフォルト値は空で、すべてのコンテナーが収集されます。正規表現がサポートされています。マップのキーはコンテナーラベル名で、値はコンテナーラベル値です。次のルールが適用されます:
|
| ContainerFilters.ExcludeContainerLabel | map | いいえ | 空 | / | 収集から除外するコンテナーのラベル条件を指定します。複数の条件は論理 OR で結合されます。このパラメーターを追加しない場合、デフォルト値は空で、すべてのコンテナーが収集されます。正規表現がサポートされています。マップのキーはコンテナーラベル名で、値はコンテナーラベル値です。次のルールが適用されます:
|
| ExternalK8sLabelTag | map | いいえ | 空 | / | Kubernetes 環境にデプロイされたコンテナーの場合、ログに追加したい Pod ラベルに関連するタグを指定します。マップのキーは Pod ラベル名で、値は対応するタグ名です。たとえば、マップに app: k8s_label_app を追加し、Pod に app=serviceA というラベルがある場合、タグ __tag__:k8s_label_app: serviceA がログに追加されます。Pod に app ラベルがない場合、空のフィールド __tag__:k8s_label_app: が追加されます。 |
| ExternalEnvTag | map | いいえ | 空 | / | Kubernetes 環境にデプロイされたコンテナーの場合、ログに追加したいコンテナー環境変数に関連するタグを指定します。マップのキーは環境変数名で、値は対応するタグ名です。たとえば、マップに VERSION: env_version を追加し、コンテナーに VERSION=v1.0.0 という環境変数がある場合、タグ __tag__:env_version: v1.0.0 がログに追加されます。コンテナーに VERSION 環境変数がない場合、空のフィールド __tag__:env_version: が追加されます。 |
| CollectingContainersMeta | bool | いいえ | false | true | コンテナーメタデータのプレビューを有効にするかどうかを指定します。 |
| AppendingLogPositionMeta | bool | いいえ | false | false | ログが属するファイルのメタデータをログに追加するかどうかを指定します。メタデータには、__tag__:__inode__ フィールドと __file_offset__ フィールドが含まれます。 |
| AllowingIncludedByMultiConfigs | bool | いいえ | false | false | 現在の構成が、他の構成によってすでに一致しているファイルを収集することを許可するかどうかを指定します。 |
| Tags | object | いいえ | 空 | {"FileInodeTagKey":"__inode__"} | 重要 このパラメーターは、LoongCollector 3.0.10 以降でのみサポートされます。
|
| FileOffsetKey | string | いいえ | 空 | __file_offset__ | 重要 このパラメーターは、LoongCollector 3.0.10 以降でのみサポートされます。 |
コンテナー標準出力 (レガシー)
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | service_docker_stdout | プラグインのタイプです。値を service_docker_stdout に設定します。 |
| Stdout | ブール値 | いいえ | true | true | 標準出力 (stdout) を収集するかどうかを指定します。 |
| Stderr | ブール値 | いいえ | true | true | 標準エラー出力 (stderr) を収集するかどうかを指定します。 |
| StartLogMaxOffset | Integer | いいえ | 128 × 1024 | 131072 | 最初の収集時に取得する既存データの長さ (バイト単位) です。この値を 131072 から 1048576 の間の数値に設定することを推奨します。 |
| IncludeLabel | マップ、ここで LabelKey と LabelValue は文字列型です | いいえ | 空 | コンテナーラベルのホワイトリストで、収集対象のコンテナーを指定するために使用されます。デフォルトでは、このパラメーターは空で、すべてのコンテナーの標準出力が収集されることを示します。コンテナーラベルのホワイトリストを設定する場合、LabelKey は必須で、LabelValue はオプションです。
複数のホワイトリストは論理 OR で結合されます。コンテナーは、そのラベルがいずれかのホワイトリストの条件を満たす場合に一致します。 | |
| ExcludeLabel | マップ、ここで LabelKey と LabelValue は文字列型です | いいえ | 空 | コンテナーラベルのブラックリストで、収集からコンテナーを除外するために使用されます。デフォルトでは、このパラメーターは空で、コンテナーは除外されないことを示します。コンテナーラベルのブラックリストを設定する場合、LabelKey は必須で、LabelValue はオプションです。
複数のブラックリストは論理 OR で結合されます。コンテナーは、そのラベルがいずれかのブラックリストの条件を満たす場合に除外されます。 | |
| IncludeEnv | マップ、ここで EnvKey と EnvValue は文字列型です | いいえ | 空 | 環境変数のホワイトリストで、収集対象のコンテナーを指定するために使用されます。デフォルトでは、このパラメーターは空で、すべてのコンテナーの標準出力が収集されることを示します。環境変数のホワイトリストを設定する場合、EnvKey は必須で、EnvValue はオプションです。
| |
| ExcludeEnv | マップ、ここで EnvKey と EnvValue は文字列型です | いいえ | 空 | 環境変数のブラックリストで、収集からコンテナーを除外するために使用されます。デフォルトでは、このパラメーターは空で、コンテナーは除外されないことを示します。環境変数のブラックリストを設定する場合、EnvKey は必須で、EnvValue はオプションです。
複数のブラックリストは論理 OR で結合されます。コンテナーは、その環境変数が任意のキーと値のペアの条件を満たす場合に除外されます。 | |
| IncludeK8sLabel | マップ、ここで LabelKey と LabelValue は文字列型です | いいえ | 空 | template.metadata で定義されている Kubernetes ラベルのホワイトリストを使用して、収集対象のコンテナーを指定します。Kubernetes ラベルのホワイトリストを設定する場合、LabelKey は必須で、LabelValue はオプションです。
複数のホワイトリストは論理 OR で結合されます。コンテナーは、その Kubernetes ラベルがいずれかのホワイトリストの条件を満たす場合に一致します。 | |
| ExcludeK8sLabel | マップ、ここで LabelKey と LabelValue は文字列型です | いいえ | 空 | template.metadata で定義されている Kubernetes ラベルのブラックリストを使用して、収集からコンテナーを除外します。Kubernetes ラベルのブラックリストを設定する場合、LabelKey は必須で、LabelValue はオプションです。
複数のブラックリストは論理 OR で結合されます。コンテナーは、その Kubernetes ラベルがいずれかのブラックリストの条件を満たす場合に除外されます。 | |
| K8sNamespaceRegex | String | いいえ | 空 | ^(default|nginx)$ | 名前空間名で収集対象のコンテナーを指定します。正規表現がサポートされています。たとえば、このパラメーターを ^(default|nginx)$ に設定すると、nginx と default の名前空間にあるすべてのコンテナーが一致します。 |
| K8sPodRegex | String | いいえ | 空 | ^(nginx-log-demo.*)$ | Pod 名で収集対象のコンテナーを指定します。正規表現がサポートされています。たとえば、このパラメーターを ^(nginx-log-demo.*)$ に設定すると、名前が nginx-log-demo で始まる Pod 内のすべてのコンテナーが一致します。 |
| K8sContainerRegex | String | いいえ | 空 | ^(container-test)$ | コンテナー名で収集対象のコンテナーを指定します。Kubernetes コンテナー名は spec.containers で定義されます。正規表現がサポートされています。たとえば、このパラメーターを ^(container-test)$ に設定すると、container-test という名前のすべてのコンテナーが一致します。 |
データ処理パラメーター
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| BeginLineRegex | String | いいえ | 空 | ログエントリの開始を照合するための正規表現です。 このパラメーターが空の場合、単一行モードが使用されます。 式が行の先頭に一致する場合、その行は新しいログエントリとして扱われます。それ以外の場合、行は前のログエントリに追加されます。 | |
| BeginLineCheckLength | Integer | いいえ | 空 | 行の先頭で一致を確認する長さ (バイト単位) です。 デフォルト値は 10 × 1024 バイトです。 行の開始の正規表現が最初の N バイト内で一致できる場合は、このパラメーターを設定して一致効率を向上させることを推奨します。 | |
| BeginLineTimeoutMs | Integer | いいえ | 空 | 行の開始を照合するためのタイムアウト期間 (ミリ秒単位) です。 デフォルト値は 3000 ミリ秒です。 3000 ミリ秒以内に新しいログが表示されない場合、照合は終了し、最後のログエントリが Simple Log Service にアップロードされます。 | |
| MaxLogSize | Integer | いいえ | 空 | ログエントリの最大長、(バイト単位) です。デフォルト値は 0 です。 デフォルト値は 512 × 1024 バイトです。 ログエントリの長さがこの値を超えると、システムは行の開始の検索を停止し、ログを直接アップロードします。 | |
| ExternalK8sLabelTag | マップ、ここで LabelKey と LabelValue は文字列型です | いいえ | 空 | Kubernetes ラベル (template.metadata で定義) ログタグを設定すると、iLogtail は Kubernetes ラベルに関連するフィールドをログに追加します。 たとえば、LabelKey を app に、LabelValue を | |
| ExternalEnvTag | マップ、ここで EnvKey と EnvValue は文字列型です | いいえ | 空 | コンテナー環境変数ログタグを設定すると、iLogtail はコンテナー環境変数に関連するフィールドをログに追加します。 たとえば、EnvKey を |
データ処理環境変数
| 環境変数 | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| ALIYUN_LOG_ENV_TAGS | String | いいえ | 空 | グローバル環境変数ログタグを設定すると、iLogtail は iLogtail が存在するコンテナーの環境変数に関連するフィールドをログに追加します。複数の環境変数名は縦棒 ( たとえば、このパラメーターを node_name|node_ip に設定し、iLogtail コンテナーが関連する環境変数を公開している場合、この情報はフィールド node_ip:172.16.0.1 と node_name:worknode を追加することでタグとしてログに追加されます。 |
MySQL 入力プラグイン
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | service_mysql | プラグインのタイプです。値を service_mysql に設定します。 |
| Address | string | いいえ | 127.0.0.1:3306 | rm-*.mysql.rds.aliyuncs.com | MySQL アドレスです。 |
| User | string | いいえ | root | root | MySQL データベースへのログインに使用されるユーザー名です。 |
| Password | string | いいえ | 空 | MySQL データベースへのログインに使用されるユーザーのパスワードです。セキュリティを向上させるには、ユーザー名とパスワードを xxx に設定します。収集構成がローカルマシンに同期された後、/usr/local/ilogtail/user_log_config.json ファイルで対応する構成を見つけて変更します。詳細については、「ローカル構成の変更」をご参照ください。重要 コンソールでこのパラメーターを変更すると、同期後にローカル構成が上書きされます。 | |
| DataBase | string | いいえ | / | project_database | データベースの名前です。 |
| DialTimeOutMs | int | いいえ | 5000 | 5000 | MySQL データベースへの接続タイムアウト期間 (ms) です。 |
| ReadTimeOutMs | int | いいえ | 5000 | 5000 | MySQL クエリ結果の読み取りタイムアウト期間 (ms) です。 |
| StateMent | string | いいえ | / | SELECT 文です。CheckPoint を true に設定した場合、SELECT 文の WHERE 条件にはチェックポイント列 (CheckPointColumn) を含める必要があります。チェックポイント列で使用するプレースホルダーとして疑問符 (?) を使用できます。たとえば、CheckPointColumn を id に、CheckPointStart を 0 に、StateMent を SELECT * from ... where id > ? に設定できます。各収集後、システムは最後のデータ入力の ID をチェックポイントとして保存します。次の収集では、クエリ文の疑問符 (?) がこのチェックポイントの ID に置き換えられます。 | |
| Limit | bool | いいえ | false | true | ページングに LIMIT を使用するかどうかを指定します。
|
| PageSize | int | いいえ | / | 10 | ページサイズです。Limit を true に設定した場合は、このパラメーターが必須です。 |
| MaxSyncSize | int | いいえ | 0 | 0 | 一度に同期するレコードの最大数です。デフォルト値は 0 で、制限がないことを意味します。 |
| CheckPoint | bool | いいえ | false | true | チェックポイントを使用するかどうかを指定します。
|
| CheckPointColumn | string | いいえ | 空 | 1 | チェックポイント列の名前です。CheckPoint を true に設定した場合は、このパラメーターが必須です。警告 この列の値は増分でなければなりません。そうでない場合、収集中にデータが欠落する可能性があります。各クエリ結果の最大値が、次のクエリの入力として使用されます。 |
| CheckPointColumnType | string | いいえ | 空 | int | チェックポイント列のデータの型です。サポートされている値:int と time。int 型は内部的に int64 として格納されます。time 型は、MySQL の date、datetime、time 型をサポートします。CheckPoint を true に設定した場合は、このパラメーターが必須です。 |
| CheckPointStart | string | いいえ | 空 | チェックポイント列の初期値です。CheckPoint を true に設定した場合は、このパラメーターが必須です。 | |
| CheckPointSavePerPage | bool | いいえ | true | true | 各ページにチェックポイントを保存するかどうかを指定します。
|
| IntervalMs | int | いいえ | 60000 | 60000 | 同期間隔です。デフォルト値は 60000 (ms) です。 |
HTTP 入力プラグイン
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | metric_http | プラグインのタイプです。値を metric_http に設定します。 |
| Address | string | はい | / | URL のリストです。 重要 URL は http または https で始まる必要があります。 | |
| IntervalMs | int | はい | / | 10 | リクエスト間の間隔 (ms) です。 |
| Method | string | いいえ | GET | GET | リクエストメソッド名です。大文字である必要があります。 |
| Body | string | いいえ | 空 | HTTP Body フィールドのコンテンツです。 | |
| Headers | map | いいえ | 空 | {"key":"value"} | HTTP ヘッダーのコンテンツです。例:{"key":"value"}。コンテンツを実際の値に置き換えてください。 |
| PerAddressSleepMs | int | いいえ | 100 | 100 | Addresses リスト内の各 URL のリクエスト間の間隔 (ms) です。 |
| ResponseTimeoutMs | int | いいえ | 5000 | 5000 | リクエストのタイムアウト期間 (ms) です。 |
| IncludeBody | bool | いいえ | false | true | リクエストボディを収集するかどうかを指定します。デフォルト値は false です。このパラメーターを true に設定すると、リクエストボディのコンテンツは content という名前のキーに格納されます。 |
| FollowRedirects | bool | いいえ | false | false | リダイレクトを自動的に処理するかどうかを指定します。 |
| InsecureSkipVerify | bool | いいえ | false | false | HTTPS セキュリティチェックをスキップするかどうかを指定します。 |
| ResponseStringMatch | string | いいえ | / | 返されたボディコンテンツに対して正規表現チェックを実行します。チェック結果は _response_match_ という名前のキーに格納されます。一致が見つかった場合、値は yes です。一致が見つからない場合、値は no です。 |
Syslog 入力プラグイン
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | service_syslog | プラグインのタイプです。値を service_syslog に設定します。 |
| Address | string | いいえ | tcp://127.0.0.1:9999 | Logtail がリッスンするプロトコル、アドレス、ポートを指定します。Logtail は Logtail 構成に基づいてリッスンし、ログデータを取得します。フォーマットは [tcp/udp]://[ ip ]:[ port ] です。このパラメーターが構成されていない場合、デフォルト値 tcp://127.0.0.1:9999 が使用され、ローカルで転送されたログのみを受信できることを意味します。 注
| |
| ParseProtocol | string | いいえ | 空 | rfc3164 | ログの解析に使用するプロトコルを指定します。デフォルト値は空で、ログが解析されないことを意味します。有効な値:
|
| IgnoreParseFailure | bool | いいえ | true | true | 解析失敗後の操作を指定します。このパラメーターが構成されていない場合、デフォルト値 true が使用され、解析が破棄され、返された content フィールドが直接入力されることを意味します。このパラメーターを false に設定すると、解析失敗時にログは破棄されます。 |
Systemd ジャーナル入力プラグイン
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | service_journal | プラグインのタイプです。値を service_journal に設定します。 |
| JournalPaths | [string] | はい | 空 | /var/log/journal | ジャーナルログのパスです。ジャーナルログが配置されているディレクトリに設定することを推奨します。 |
| SeekPosition | string | いいえ | tail | tail | 最初の収集の方法です。head または tail に設定できます。
|
| Kernel | bool | いいえ | true | true | カーネルログを収集するかどうかを指定します。 |
| Units | [string] | いいえ | 空 | "" | 収集するユニットのリストです。デフォルトでは空で、すべてのユニットが収集されることを意味します。 |
| ParseSyslogFacility | bool | いいえ | false | false | syslog ログの facility フィールドを解析するかどうかを指定します。このパラメーターが構成されていない場合、フィールドは解析されません。 |
| ParsePriority | bool | いいえ | false | false | Priority フィールドを解析するかどうかを指定します。このパラメーターが構成されていない場合、フィールドは解析されません。このパラメーターを true に設定すると、Priority フィールドのマッピング関係は次のようになります。 plaintext "0": "emergency" "1": "alert" "2": "critical" "3": "error" "4": "warning" "5": "notice" "6": "informational" "7": "debug" |
| UseJournalEventTime | bool | いいえ | false | false | ジャーナルログのフィールドをログ時刻として使用するかどうかを指定します。このパラメーターが構成されていない場合、収集時刻がログ時刻として使用されます。リアルタイムログ収集の時間差は通常 3 秒以内です。 |
SQL Server 入力プラグイン
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | service_mssql | プラグインのタイプです。値を service_mssql に設定します。 |
| Address | string | いいえ | 127.0.0.1:1433 | rm-*.sqlserver.rds.aliyuncs.com | SQL Server アドレスです。 |
| User | string | いいえ | root | root | SQL Server データベースへのログインに使用されるユーザー名です。 |
| Password | string | いいえ | 空 | SQL Server データベースへのログインに使用されるユーザーのパスワードです。セキュリティを向上させるには、ユーザー名とパスワードを xxx に設定します。収集構成がローカルマシンに同期された後、/usr/local/ilogtail/user_log_config.json ファイルで対応する構成を見つけて変更します。詳細については、「ローカル構成の変更」をご参照ください。重要 コンソールでこのパラメーターを変更すると、同期後にローカル構成が上書きされます。 | |
| DataBase | string | いいえ | / | project_database | データベースの名前です。 |
| DialTimeOutMs | int | いいえ | 5000 | 5000 | SQL Server データベースへの接続タイムアウト期間 (ms) です。 |
| ReadTimeOutMs | int | いいえ | 5000 | 5000 | SQL Server クエリ結果の読み取りタイムアウト期間 (ms) です。 |
| StateMent | string | いいえ | / | SELECT 文です。CheckPoint を true に設定した場合、SELECT 文の WHERE 条件にはチェックポイント列 (CheckPointColumn) を含める必要があります。チェックポイント列で使用するプレースホルダーとして疑問符 (?) を使用できます。たとえば、CheckPointColumn を id に、CheckPointStart を 0 に、StateMent を SELECT * from ... where id > ? に設定できます。各収集後、システムは最後のデータ入力の ID をチェックポイントとして保存します。次の収集では、クエリ文の疑問符 (?) がこのチェックポイントの ID に置き換えられます。 | |
| Limit | bool | いいえ | false | true | ページングに LIMIT を使用するかどうかを指定します。
|
| PageSize | int | いいえ | / | 10 | ページサイズです。Limit を true に設定した場合は、このパラメーターが必須です。 |
| MaxSyncSize | int | いいえ | 0 | 0 | 一度に同期するレコードの最大数です。デフォルト値は 0 で、制限がないことを意味します。 |
| CheckPoint | bool | いいえ | false | true | チェックポイントを使用するかどうかを指定します。
|
| CheckPointColumn | string | いいえ | 空 | 1 | チェックポイント列の名前です。CheckPoint を true に設定した場合は、このパラメーターが必須です。警告 この列の値は増分でなければなりません。そうでない場合、収集中にデータが欠落する可能性があります。各クエリ結果の最大値が、次のクエリの入力として使用されます。 |
| CheckPointColumnType | string | いいえ | 空 | int | チェックポイント列のデータの型です。サポートされている値:int と time。int 型は内部的に int64 として格納されます。time 型は、SQL Server の date、datetime、time 型をサポートします。CheckPoint を true に設定した場合は、このパラメーターが必須です。 |
| CheckPointStart | string | いいえ | 空 | チェックポイント列の初期値です。CheckPoint を true に設定した場合は、このパラメーターが必須です。 | |
| CheckPointSavePerPage | bool | いいえ | true | true | 各ページにチェックポイントを保存するかどうかを指定します。
|
| IntervalMs | int | いいえ | 60000 | 60000 | 同期間隔です。デフォルト値は 60000 (ms) です。 |
PostgreSQL 入力プラグイン
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | service_pgsql | プラグインのタイプです。値を service_pgsql に設定します。 |
| Address | string | いいえ | 127.0.0.1:5432 | rm-*.pg.rds.aliyuncs.com | PostgreSQL アドレスです。 |
| User | string | いいえ | root | root | PostgreSQL データベースへのログインに使用されるユーザー名です。 |
| Password | string | いいえ | 空 | PostgreSQL データベースへのログインに使用されるユーザーのパスワードです。セキュリティを向上させるには、ユーザー名とパスワードを xxx に設定します。収集構成がローカルマシンに同期された後、/usr/local/ilogtail/user_log_config.json ファイルで対応する構成を見つけて変更します。詳細については、「ローカル構成の変更」をご参照ください。重要 コンソールでこのパラメーターを変更すると、同期後にローカル構成が上書きされます。 | |
| DataBase | string | いいえ | / | project_database | PostgreSQL データベースの名前です。 |
| DialTimeOutMs | int | いいえ | 5000 | 5000 | PostgreSQL データベースへの接続タイムアウト期間 (ms) です。 |
| ReadTimeOutMs | int | いいえ | 5000 | 5000 | PostgreSQL クエリ結果の読み取りタイムアウト期間 (ms) です。 |
| StateMent | string | いいえ | / | SELECT 文です。CheckPoint を true に設定した場合、SELECT 文の WHERE 条件にはチェックポイント列 (CheckPointColumn パラメーター) を含める必要があり、この列の値は $1 に設定する必要があります。たとえば、CheckPointColumn を id に、StateMent を SELECT * from ... where id > $1 | |
| Limit | bool | いいえ | false | true | ページングに LIMIT を使用するかどうかを指定します。
|
| PageSize | int | いいえ | / | 10 | ページサイズです。Limit を true に設定した場合は、このパラメーターが必須です。 |
| MaxSyncSize | int | いいえ | 0 | 0 | 一度に同期するレコードの最大数です。デフォルト値は 0 で、制限がないことを意味します。 |
| CheckPoint | bool | いいえ | false | true | チェックポイントを使用するかどうかを指定します。
|
| CheckPointColumn | string | いいえ | 空 | 1 | チェックポイント列の名前です。CheckPoint を true に設定した場合は、このパラメーターが必須です。警告 この列の値は増分でなければなりません。そうでない場合、収集中にデータが欠落する可能性があります。各クエリ結果の最大値が、次のクエリの入力として使用されます。 |
| CheckPointColumnType | string | いいえ | 空 | int | チェックポイント列のデータの型です。サポートされている値:int と time。int 型は内部的に int64 として格納されます。time 型は、PostgreSQL の time 型をサポートします。CheckPoint を true に設定した場合は、このパラメーターが必須です。 |
| CheckPointStart | string | いいえ | 空 | チェックポイント列の初期値です。CheckPoint を true に設定した場合は、このパラメーターが必須です。 | |
| CheckPointSavePerPage | bool | いいえ | true | true | 各ページにチェックポイントを保存するかどうかを指定します。
|
| IntervalMs | int | いいえ | 60000 | 60000 | 同期間隔です。デフォルト値は 60000 (ms) です。 |
SNMP 入力プラグイン
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Targets | [string] | はい | / | 127.0.0.1 | ターゲットマシングループの IP アドレスです。 |
| Port | string | いいえ | 161 | 161 | SNMP プロトコルが使用するポートです。 |
| Community | string | いいえ | public | public | コミュニティ名です。SNMPv1 と SNMPv2 は認証にコミュニティ名を使用します。 |
| UserName | string | いいえ | 空 | root | ユーザー名です。SNMPv3 はユーザー名を使用した認証をサポートしています。 |
| AuthenticationProtocol | string | いいえ | NoAuth | NoAuth | 認証プロトコルです。SNMPv3 は認証プロトコルを使用した認証をサポートしています。 |
| AuthenticationPassphrase | string | いいえ | 空 | 認証パスワードです。デフォルト値は空です。AuthenticationProtocol を MD5 または SHA に設定した場合、AuthenticationPassphrase を設定する必要があります。 | |
| PrivacyProtocol | string | いいえ | NoPriv | NoPriv | プライバシープロトコルです。SNMPv3 はプライバシープロトコルを使用した認証をサポートしています。 |
| PrivacyPassphrase | string | いいえ | 空 | プライバシープロトコルのパスワードです。デフォルトでは、認証パスワードと同じです。PrivacyProtocol を DES または AES に設定した場合、PrivacyPassphrase を設定する必要があります。 | |
| Timeout | int | いいえ | 5 | 5 | 単一のクエリ操作のタイムアウト期間 (秒単位) です。 |
| Version | int | いいえ | 2 | 2 | SNMP プロトコルのバージョンです。有効な値:1、2、3。 |
| Transport | string | いいえ | udp | udp | SNMP 通信方式です。有効な値:udp と tcp。 |
| MaxRepetitions | int | いいえ | 0 | 0 | クエリタイムアウト後の再試行回数です。 |
| Oids | [string] | いいえ | 空 | 1 | ターゲットマシンでクエリするオブジェクト識別子です。 |
| Fields | [string] | いいえ | 空 | int | ターゲットマシンでクエリするフィールドです。このプラグインは、まずローカルの管理情報ベース (MIB) を参照してフィールドを変換し、オブジェクト識別子に変換してから、まとめてクエリします。 |
| Tables | [string] | いいえ | 空 | ターゲットマシンでクエリするテーブルです。このプラグインは、まずテーブル内のすべてのフィールドをクエリし、次にローカルの MIB を参照してオブジェクト識別子に変換し、まとめてクエリします。 |
スクリプト入力プラグイン
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | input_command | プラグインのタイプです。値を input_command に設定します。 |
| ScriptType | string | はい | 空 | shell | スクリプトコンテンツのタイプを指定します。現在、bash、shell、python2、python3 がサポートされています。 |
| User | string | はい | / | public | コマンドの実行に使用されるユーザー名です。非 root ユーザーのみがサポートされています。注 * 指定されたユーザー名がマシンに存在することを確認してください。 最小権限を構成し、監視したいディレクトリまたはファイルにのみ rwx 権限を付与することを推奨します。 |
| ScriptContent | string | はい | 空 | スクリプトコンテンツです。プレーンテキストと Base64 で暗号化されたコンテンツがサポートされています。長さは 512 × 1024 バイトを超えることはできません。 | |
| ContentEncoding | string | いいえ | PlainText | PlainText | スクリプトコンテンツのテキストフォーマットです。有効な値:
|
| LineSplitSep | string | いいえ | 空 | スクリプト出力コンテンツのデリミタです。これが空の場合、分割は行われず、出力全体が単一のデータ入力として返されます。 | |
| CmdPath | string | いいえ | 空 | /usr/bin/bash | スクリプトコマンドを実行するパスです。これが空の場合、デフォルトのパスが使用されます。デフォルトのパスは次のとおりです:
|
| TimeoutMilliSeconds | int | いいえ | 3000 | 3000 | スクリプトの実行タイムアウト期間 (ミリ秒単位) です。 |
| IgnoreError | bool | いいえ | false | false | プラグインの実行が失敗したときにエラーログを無視するかどうかを指定します。デフォルト値は false で、無視されないことを意味します。 |
| Environments | [string] | いいえ | 環境変数です。デフォルトは os.Environ() の値です。Environments が設定されている場合、指定された環境変数が os.Environ() の値に追加されます。 | ||
| IntervalMs | int | いいえ | 5000 | 5000 | 収集トリガーの頻度またはスクリプト実行の頻度 (ミリ秒単位) です。 |
ネイティブ処理プラグイン
正規表現解析プラグイン
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_parse_regex_native | プラグインのタイプです。値を processor_parse_regex_native に設定します。 |
| SourceKey | string | はい | / | content | ソースフィールド名です。 |
| Regex | string | はい | / | (\d+-\d+-\d+)\s+(.*) | 正規表現です。 |
| Keys | [string] | はい | / | ["time", "msg"] | 抽出されたフィールドのリストです。 |
| KeepingSourceWhenParseFail | bool | いいえ | false | false | 解析に失敗した場合にソースフィールドを保持するかどうかを指定します。 |
| KeepingSourceWhenParseSucceed | bool | いいえ | false | false | 解析に成功した場合にソースフィールドを保持するかどうかを指定します。 |
| RenamedSourceKey | string | いいえ | 空 | key | ソースフィールドを保持する場合に格納するフィールド名です。指定しない場合、デフォルトではソースフィールドは名前変更されません。 |
JSON 解析プラグイン
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_parse_json_native | プラグインのタイプです。値を processor_parse_json_native に設定します。 |
| SourceKey | string | はい | / | content | ソースフィールド名です。 |
| KeepingSourceWhenParseFail | bool | いいえ | false | false | 解析に失敗した場合にソースフィールドを保持するかどうかを指定します。 |
| KeepingSourceWhenParseSucceed | bool | いいえ | false | false | 解析に成功した場合にソースフィールドを保持するかどうかを指定します。 |
| RenamedSourceKey | string | いいえ | 空 | key | ソースフィールドを保持する場合に格納するフィールド名です。指定しない場合、デフォルトではソースフィールドは名前変更されません。 |
デリミタ解析プラグイン
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_parse_delimiter_native | プラグインのタイプです。値を processor_parse_delimiter_native に設定します。 |
| SourceKey | string | はい | / | content | ソースフィールド名です。 |
| Separator | string | はい | / | , | デリミタです。 |
| Quote | string | いいえ | " | " | 引用符です。 |
| Keys | [string] | はい | / | ["time", "msg"] | 抽出されたフィールドのリストです。 |
| AllowingShortenedFields | bool | いいえ | true | true | 抽出されたフィールドの数がキーの数より少なくなることを許可するかどうかを指定します。許可しない場合、このシナリオは解析失敗と見なされます。 |
| OverflowedFieldsTreatment | string | いいえ | extend | extend | 抽出されたフィールドの数がキーの数より多い場合の動作です。有効な値:
|
| KeepingSourceWhenParseFail | bool | いいえ | false | false | 解析に失敗した場合にソースフィールドを保持するかどうかを指定します。 |
| KeepingSourceWhenParseSucceed | bool | いいえ | false | false | 解析に成功した場合にソースフィールドを保持するかどうかを指定します。 |
| RenamedSourceKey | string | いいえ | 空 | key | ソースフィールドを保持する場合に格納するフィールド名です。指定しない場合、デフォルトではソースフィールドは名前変更されません。 |
Apsara 解析プラグイン
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_parse_apsara_native | プラグインのタイプです。値を processor_parse_apsara_native に設定します。 |
| SourceKey | string | はい | / | content | ソースフィールド名です。 |
| Timezone | string | いいえ | 空 | GMT+08:00 | ログ時刻のタイムゾーンです。フォーマットは GMT+HH:MM (UTC の東) または GMT-HH:MM (UTC の西) です。 |
| KeepingSourceWhenParseFail | bool | いいえ | false | false | 解析に失敗した場合にソースフィールドを保持するかどうかを指定します。 |
| KeepingSourceWhenParseSucceed | bool | いいえ | false | false | 解析に成功した場合にソースフィールドを保持するかどうかを指定します。 |
| RenamedSourceKey | string | いいえ | 空 | key | ソースフィールドを保持する場合に格納するフィールド名です。指定しない場合、デフォルトではソースフィールドは名前変更されません。 |
時刻解析プラグイン
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_parse_timestamp_native | プラグインのタイプです。値を processor_parse_timestamp_native に設定します。 |
| SourceKey | string | はい | / | content | ソースフィールド名です。 |
| SourceFormat | string | はい | / | %Y/%m/%d %H:%M:%S | ログ時刻のフォーマットです。詳細については、「時刻フォーマット」をご参照ください。 |
| SourceTimezone | string | いいえ | 空 | GMT+08:00 | ログ時刻のタイムゾーンです。フォーマットは GMT+HH:MM (UTC の東) または GMT-HH:MM (UTC の西) です。 |
フィルタープラグイン
| パラメーター | 必須 | 例 | デフォルト値 | 説明 | 注 |
| Type | string | はい | processor_filter_regex_native | / | プラグインのタイプです。値を processor_filter_regex_native に設定します。 |
| Include | map | はい | / | / | ログフィールドのホワイトリストです。キーはフィールド名、値は正規表現です。これは、イベントが収集されるためにキーで指定されたフィールドのコンテンツが満たす必要がある条件を指定します。複数の条件は論理 AND で結合されます。ログは、すべての条件が満たされた場合にのみ収集されます。 |
データマスキングプラグイン
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_desensitize_native | プラグインのタイプです。値を processor_desensitize_native に設定します。 |
| SourceKey | string | はい | / | content | ソースフィールド名です。 |
| Method | string | はい | / | const | データマスキングメソッドです。有効な値: const:機密コンテンツを定数に置き換えます。 md5:機密コンテンツをその MD5 値に置き換えます。 |
| ReplacingString | string | いいえ。このパラメーターは、Method を const に設定した場合に必須です。 | / | ****** | 機密コンテンツを置き換える定数文字列です。 |
| ContentPatternBeforeReplacedString | string | はい | / | 'password:' | 機密コンテンツのプレフィックスの正規表現です。 |
| ReplacedContentPattern | string | はい | / | [^']* | 機密コンテンツの正規表現です。 |
| ReplacingAll | bool | いいえ | true | true | 一致したすべての機密コンテンツを置き換えるかどうかを指定します。 |
拡張プロセッサ
フィールドの抽出
正規表現モード
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_regex | プラグインのタイプです。値を processor_regex に設定します。 |
| SourceKey | string | はい | / | content | ソースフィールド名です。 |
| Regex | string | はい | / | (\d+-\d+-\d+)\s+(.*) | 正規表現です。抽出するフィールドを括弧 () でマークする必要があります。 |
| Keys | [string] | はい | / | ["ip", "time", "method"] | 抽出されたコンテンツのフィールド名を指定します。例:["ip", "time", "method"]。 |
| NoKeyError | boolean | いいえ | false | false | 指定されたソースフィールドが元のログに存在しない場合にシステムがエラーを報告するかどうかを指定します。
|
| NoMatchError | boolean | いいえ | false | false | 指定された正規表現がソースフィールドの値と一致しない場合にシステムがエラーを報告するかどうかを指定します。
|
| KeepSource | boolean | いいえ | false | false | 解析されたログにソースフィールドを保持するかどうかを指定します。
|
| FullMatch | boolean | いいえ | true | true | 完全一致の場合にのみ抽出するかどうかを指定します。
|
| KeepSourceIfParseError | boolean | true | true | false | 解析に失敗した場合に、解析されたログにソースフィールドを保持するかどうかを指定します。
|
アンカーモード
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_anchor | プラグインのタイプです。値を processor_anchor に設定します。 |
| SourceKey | アンカー配列 | はい | / | content | ソースフィールド名です。 |
| Anchors | string | はい | / | アンカーアイテムのリストです。 | |
| Start | String | はい | 空 | time | 開始キーワードです。空の場合、文字列の先頭に一致します。 |
| Stop | String | はい | 空 | \t | 終了キーワードです。空の場合、文字列の末尾に一致します。 |
| FieldName | String | はい | 空 | time | 抽出されたコンテンツのフィールド名を指定します。 |
| FieldType | String | はい | 空 | string | フィールドのタイプです。有効な値:string と json。 |
| ExpondJson | boolean | いいえ | false | false | JSON フィールドを展開するかどうかを指定します。
|
| ExpondConnecter | String | いいえ | _ | _ | JSON 展開のコネクタです。デフォルト値はアンダースコア (_) です。 |
| MaxExpondDepth | Int | いいえ | 0 | 0 | JSON 展開の最大深度です。デフォルト値は 0 で、制限がないことを意味します。 |
| NoAnchorError | Boolean | いいえ | false | false | アンカーアイテムが見つからない場合にシステムがエラーを報告するかどうかを指定します。
|
| NoKeyError | Boolean | いいえ | false | false | 指定されたソースフィールドが元のログに存在しない場合にシステムがエラーを報告するかどうかを指定します。
|
| KeepSource | Boolean | いいえ | false | false | 解析されたログにソースフィールドを保持するかどうかを指定します。
|
CSV モード
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_csv | プラグインのタイプです。値を processor_csv に設定します。 |
| SourceKey | String | はい | / | csv | ソースフィールド名です。 |
| SplitKeys | String array | はい | / | ["date", "ip", "content"] | 抽出されたコンテンツのフィールド名を指定します。例:["date", "ip", "content"]。 重要 分割するフィールドの数が SplitKeys パラメーターのフィールド数より少ない場合、SplitKeys パラメーターの余分なフィールドは無視されます。 |
| PreserveOthers | Boolean | いいえ | false | false | 分割するフィールドの数が SplitKeys パラメーターのフィールド数より多い場合に、余分な部分を保持するかどうかを指定します。
|
| ExpandOthers | Boolean | いいえ | false | false | 余分な部分を解析するかどうかを指定します。
|
| ExpandKeyPrefix | String | いいえ | 余分なフィールドの命名プレフィックスです。たとえば、expand_ と構成した場合、フィールド名は expand_1、expand_2 となります。 | ||
| TrimLeadingSpace | Boolean | いいえ | false | false | フィールド値の先頭のスペースを無視するかどうかを指定します。
|
| SplitSep | String | いいえ | , | , | デリミタです。デフォルト値はカンマ (,) です。 |
| KeepSource | Boolean | いいえ | false | false | 解析されたログにソースフィールドを保持するかどうかを指定します。
|
| NoKeyError | Boolean | いいえ | false | false | 指定されたソースフィールドが元のログに存在しない場合にシステムがエラーを報告するかどうかを指定します。
|
単一文字デリミタ
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_split_char | プラグインのタイプです。値を processor_split_char に設定します。 |
| SourceKey | String | はい | ソースフィールド名です。 | ||
| SplitSep | String | はい | デリミタです。単一の文字である必要があり、\u0001 などの非表示文字も使用できます。 | ||
| SplitKeys | String array | はい | ["ip", "time", "method"] | 抽出されたコンテンツのフィールド名を指定します。例:["ip", "time", "method"]。 | |
| PreserveOthers | Boolean | いいえ | false | false | 分割するフィールドの数が SplitKeys パラメーターのフィールド数より多い場合に、余分な部分を保持するかどうかを指定します。
|
| QuoteFlag | Boolean | いいえ | false | false | 引用符を使用するかどうかを指定します。
|
| Quote | String | いいえ | / | \u0001 | 引用符です。単一の文字である必要があり、\u0001 などの非表示文字も使用できます。これは QuoteFlag が true に設定されている場合にのみ有効です。 |
| NoKeyError | Boolean | いいえ | false | false | 指定されたソースフィールドが元のログに存在しない場合にシステムがエラーを報告するかどうかを指定します。
|
| NoMatchError | Boolean | いいえ | false | false | 指定されたデリミタがログのデリミタと一致しない場合にシステムがエラーを報告するかどうかを指定します。
|
| KeepSource | Boolean | いいえ | false | false | 解析されたログにソースフィールドを保持するかどうかを指定します。
|
複数文字デリミタ
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_split_string | プラグインのタイプです。値を processor_split_string に設定します。 |
| SourceKey | String | はい | ソースフィールド名です。 | ||
| SplitSep | String | はい | デリミタです。単一の文字である必要があり、\u0001\u0002 などの非表示文字も使用できます。 | ||
| SplitKeys | String array | はい | ["key1","key2"] | 抽出されたコンテンツのフィールド名を指定します。例:["key1","key2"]。注 分割するフィールドの数が SplitKeys パラメーターのフィールド数より少ない場合、SplitKeys パラメーターの余分なフィールドは無視されます。 | |
| PreserveOthers | Boolean | いいえ | false | false | 分割するフィールドの数が SplitKeys パラメーターのフィールド数より多い場合に、余分な部分を保持するかどうかを指定します。
|
| ExpandOthers | Boolean | いいえ | false | false | 引用符を使用するかどうかを指定します。
|
| ExpandKeyPrefix | String | いいえ | / | expand_ | 余分な部分の命名プレフィックスです。たとえば、expand_ と構成した場合、フィールド名は expand_1、expand_2 となります。 |
| NoKeyError | Boolean | いいえ | false | false | 指定されたソースフィールドが元のログに存在しない場合にシステムがエラーを報告するかどうかを指定します。
|
| NoMatchError | Boolean | いいえ | false | false | 指定されたデリミタがログのデリミタと一致しない場合にシステムがエラーを報告するかどうかを指定します。
|
| KeepSource | Boolean | いいえ | false | false | 解析されたログにソースフィールドを保持するかどうかを指定します。
|
キーと値のペア
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_split_key_value | プラグインのタイプです。値を processor_split_key_value に設定します。 |
| SourceKey | string | はい | ソースフィールド名です。 | ||
| Delimiter | string | いいえ | \t | \t | キーと値のペア間のデリミタです。デフォルト値はタブ文字 \t です。 |
| Separator | string | いいえ | : | : | 単一のキーと値のペア内のキーと値の間のデリミタです。デフォルト値はコロン (:) です。 |
| KeepSource | Boolean | いいえ | false | false | 解析されたログにソースフィールドを保持するかどうかを指定します。
|
| ErrIfSourceKeyNotFound | Boolean | いいえ | true | false | 指定されたソースフィールドが元のログに存在しない場合にシステムがエラーを報告するかどうかを指定します。
|
| DiscardWhenSeparatorNotFound | Boolean | いいえ | false | false | 一致するデリミタが見つからない場合にキーと値のペアを破棄するかどうかを指定します。
|
| ErrIfSeparatorNotFound | Boolean | いいえ | true | false | 指定されたデリミタが存在しない場合にシステムがエラーを報告するかどうかを指定します。
|
| ErrIfKeyIsEmpty | Boolean | いいえ | true | false | 分割後にキーが空の場合にシステムがエラーを報告するかどうかを指定します。
|
| Quote | String | いいえ | 引用符です。設定した場合、値が引用符で囲まれていると、引用符内の値が抽出されます。複数文字の引用符がサポートされています。デフォルトでは、引用符機能は有効になっていません。重要 * 引用符が二重引用符 ("") の場合は、エスケープ文字であるバックスラッシュ (\) を追加する必要があります。引用符内でバックスラッシュ (\) が引用符と一緒に使用されると、バックスラッシュ (\) は値の一部として出力されます。 |
Grok モード
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_grok | プラグインのタイプです。値を processor_grok に設定します。 |
| CustomPatternDir | String array | いいえ | カスタム Grok パターンファイルが配置されているディレクトリです。processor_grok プラグインは、ディレクトリ内のすべてのファイルを読み取ります。このパラメーターを追加しない場合、カスタム Grok パターンファイルはインポートされません。重要 カスタム Grok パターンファイルを更新した後、変更を有効にするには Logtail を再起動する必要があります。 | ||
| CustomPatterns | Map | いいえ | カスタム GROK パターンです。キーはルール名、値は Grok 式です。サポートされている式の詳細については、「processor_grok」をご参照ください。リンクに必要な式が含まれていない場合は、Match にカスタム Grok 式を入力します。このパラメーターを追加しない場合、カスタム GROK パターンは使用されません。 | ||
| SourceKey | String | いいえ | content | content | ソースフィールド名です。デフォルト値は content フィールドです。 |
| Match | String array | はい | Grok 式の配列です。processor_grok プラグインは、このリストの式に対して上から順にログを照合し、最初に成功した照合の抽出結果を返します。注 複数の Grok 式を構成すると、パフォーマンスに影響する可能性があります。5 つ以下にすることを推奨します。 | ||
| TimeoutMilliSeconds | Long | いいえ | 0 | Grok 式を使用してフィールドを抽出しようとする最大時間 (ミリ秒単位) です。このパラメーターを追加しないか、0 に設定した場合、タイムアウトがないことを意味します。 | |
| IgnoreParseFailure | Boolean | いいえ | true | true | 解析に失敗したログを無視するかどうかを指定します。
|
| KeepSource | Boolean | いいえ | true | true | 解析成功後にソースフィールドを保持するかどうかを指定します。
|
| NoKeyError | Boolean | いいえ | false | true | 指定されたソースフィールドが元のログに存在しない場合にシステムがエラーを報告するかどうかを指定します。
|
| NoMatchError | Boolean | いいえ | true | true | Match パラメーターで設定されたどの式もログに一致しない場合にシステムがエラーを報告するかどうかを指定します。
|
| TimeoutError | Boolean | いいえ | true | true | 一致タイムアウト時にシステムがエラーを報告するかどうかを指定します。
|
フィールドの追加
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_add_fields | プラグインのタイプです。値を processor_add_fields に設定します。 |
| Fields | Map | はい | 追加するフィールド名と値です。キーと値のペアのフォーマットで、複数追加できます。 | ||
| IgnoreIfExist | Boolean | いいえ | false | false | 同じ名前のフィールドが存在する場合に重複フィールドを無視するかどうかを指定します。
|
フィールドの削除
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_drop | プラグインのタイプです。値を processor_drop に設定します。 |
| DropKeys | String array | はい | 削除するフィールドを指定します。複数のフィールドを構成できます。 |
フィールドの名前変更
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_rename | プラグインのタイプです。値を processor_rename に設定します。 |
| NoKeyError | Boolean | いいえ | false | false | 指定されたソースフィールドがログに存在しない場合にシステムがエラーを報告するかどうかを指定します。
|
| SourceKeys | String array | はい | 名前を変更するソースフィールドです。 | ||
| DestKeys | String array | はい | 名前変更後のフィールドです。 |
フィールドのパッケージング
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_packjson | プラグインのタイプです。値を processor_packjson に設定します。 |
| SourceKeys | String array | はい | パッケージ化するソースフィールドです。 | ||
| DestKey | String | いいえ | パッケージ化後のフィールドです。 | ||
| KeepSource | Boolean | いいえ | true | true | 解析されたログにソースフィールドを保持するかどうかを指定します。
|
| AlarmIfIncomplete | Boolean | いいえ | true | true | 指定されたソースフィールドが元のログに存在しない場合にシステムがエラーを報告するかどうかを指定します。
|
JSON フィールドの展開
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_json | プラグインのタイプです。値を processor_json に設定します。 |
| SourceKey | String | はい | 展開するソースフィールドの名前です。 | ||
| NoKeyError | Boolean | いいえ | true | true | 指定されたソースフィールドが元のログに存在しない場合にシステムがエラーを報告するかどうかを指定します。
|
| ExpandDepth | Int | いいえ | 0 | 1 | JSON 展開の深度です。デフォルト値は 0 で、制限がないことを意味します。1 は現在のレベルを示し、以下同様です。 |
| ExpandConnector | String | いいえ | _ | _ | JSON 展開のコネクタです。デフォルト値はアンダースコア (_) です。 |
| Prefix | String | いいえ | JSON 展開中にフィールド名に追加するプレフィックスです。 | ||
| KeepSource | Boolean | いいえ | true | true | 解析されたログにソースフィールドを保持するかどうかを指定します。
|
| UseSourceKeyAsPrefix | Boolean | いいえ | すべての展開された JSON フィールド名のプレフィックスとしてソースフィールド名を使用するかどうかを指定します。 | ||
| KeepSourceIfParseError | Boolean | いいえ | true | true | 解析に失敗した場合に元のログを保持するかどうかを指定します。
|
| ExpandArray | Boolean | いいえ | false | false | 配列タイプを展開するかどうかを指定します。このパラメーターは Logtail 1.8.0 以降でサポートされています。
|
ログのフィルタリング
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_filter_regex | プラグインのタイプです。値を processor_filter_regex に設定します。 |
| Include | JSON Object | いいえ | キーはログフィールドで、値はフィールド値が一致する必要がある正規表現です。キーと値のペアは論理 AND で結合されます。ログフィールドの値が対応する正規表現に一致する場合、ログは収集されます。 | ||
| Exclude | JSON Object | いいえ | キーはログフィールドで、値はフィールド値が一致する必要がある正規表現です。キーと値のペアは論理 OR で結合されます。ログ内のいずれかのフィールドの値が対応する正規表現に一致する場合、ログは破棄されます。 |
ログ時刻の抽出
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_gotime | プラグインのタイプです。値を processor_gotime に設定します。 |
| SourceKey | String | はい | ソースフィールド名です。 | ||
| SourceFormat | String | はい | ソース時刻のフォーマットです。 | ||
| SourceLocation | Int | はい | ソース時刻のタイムゾーンです。パラメーター値が空の場合、Logtail が配置されているホストまたはコンテナーのタイムゾーンを示します。 | ||
| DestKey | String | はい | 解析後の宛先フィールドです。 | ||
| DestFormat | String | はい | 解析後の時刻フォーマットです。 | ||
| DestLocation | Int | いいえ | 解析後のタイムゾーンです。パラメーター値が空の場合、ローカルタイムゾーンを示します。 | ||
| SetTime | Boolean | いいえ | true | true | 解析された時刻をログ時刻として設定するかどうかを指定します。
|
| KeepSource | Boolean | いいえ | true | true | 解析されたログにソースフィールドを保持するかどうかを指定します。
|
| NoKeyError | Boolean | いいえ | true | true | 指定されたソースフィールドが元のログに存在しない場合にシステムがエラーを報告するかどうかを指定します。
|
| AlarmIfFail | Boolean | いいえ | true | true | ログ時刻の抽出に失敗した場合にシステムがエラーを報告するかどうかを指定します。
|
IP アドレスの変換
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_geoip | プラグインのタイプです。値を processor_geoip に設定します。 |
| SourceKey | String | はい | IP アドレス変換を実行するソースフィールドの名前です。 | ||
| DBPath | String | はい | /user/data/GeoLite2-City_20180102/GeoLite2-City.mmdb | GeoIP データベースの完全なパスです。例:/user/data/GeoLite2-City_20180102/GeoLite2-City.mmdb。 | |
| NoKeyError | Boolean | いいえ | false | false | 指定されたソースフィールド名が元のログに存在しない場合にシステムがエラーを報告するかどうかを指定します。
|
| NoMatchError | Boolean | いいえ | true | true | IP アドレスが無効であるか、データベースに見つからない場合にシステムがエラーを報告するかどうかを指定します。
|
| KeepSource | Boolean | いいえ | true | true | 解析されたログにソースフィールドを保持するかどうかを指定します。
|
| Language | String | いいえ | zh-CN | zh-CN | 言語属性です。デフォルト値は zh-CN です。 重要 GeoIP データベースに対応する言語が含まれていることを確認してください。 |
データマスキング
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_desensitize | プラグインのタイプです。値を processor_desensitize に設定します。 |
| SourceKey | String | はい | ログフィールド名です。 | ||
| Method | String | はい | const | データマスキングメソッドです。有効な値:
| |
| Match | String | いいえ | full | full | 機密コンテンツを抽出する方法を指定します。有効な値:
|
| ReplaceString | String | いいえ | 機密コンテンツを置き換えるために使用される文字列です。これは Method が const に設定されている場合に必須です。 | ||
| RegexBegin | String | いいえ | 機密コンテンツのプレフィックスに一致する正規表現です。これは Match が regex に設定されている場合に必須です。 | ||
| RegexContent | String | いいえ | 機密コンテンツに一致する正規表現です。これは Match が regex に設定されている場合に必須です。 |
フィールド値のマッピング
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_dict_map | プラグインのタイプです。値を processor_dict_map に設定します。 |
| SourceKey | String | はい | ソースフィールド名です。 | ||
| MapDict | Map | いいえ | マッピング辞書です。マッピング辞書が小さい場合は、このパラメーターで直接設定できます。ローカルの CSV 辞書ファイルを提供する必要はありません。重要 DictFilePath パラメーターを設定した場合、MapDict パラメーターの構成は有効になりません。 | ||
| DictFilePath | String | いいえ | CSV 形式の辞書ファイルです。この CSV ファイルのデリミタはカンマ (,) で、フィールド参照は二重引用符 (") で表されます。 | ||
| DestKey | String | いいえ | マッピング後のフィールド名です。 | ||
| HandleMissing | Boolean | いいえ | false | false | ターゲットフィールドが元のログにない場合にシステムがログを処理するかどうかを指定します。
|
| Missing | String | いいえ | Unknown | Unknown | 元のログで欠落しているターゲットフィールドを処理するときに使用する入力値です。デフォルト値は Unknown です。このパラメーターは、HandleMissing が true に設定されている場合に有効になります。 |
| MaxDictSize | Int | いいえ | 1000 | 1000 | マッピング辞書の最大サイズです。デフォルト値は 1000 で、最大 1000 のマッピングルールを格納できることを意味します。サーバー上のプラグインのメモリ使用量を制限するには、この値を減らすことができます。 |
| Mode | String | いいえ | overwrite | overwrite | マッピングされたフィールドが元のログにすでに存在する場合の処理方法です。
|
フィールドの暗号化
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_encrypt | プラグインのタイプです。値を processor_encrypt に設定します。 |
| SourceKey | String array | はい | ソースフィールド名です。 | ||
| EncryptionParameters | Object | はい | キー関連の構成です。 | ||
| Key | String | はい | キーを設定します。64 文字の 16 進数である必要があります。 | ||
| IV | String | いいえ | 00000000000000000000000000000000 | 暗号化の初期化ベクトルを設定します。32 文字の 16 進数である必要があります。デフォルト値は 00000000000000000000000000000000 です。 | |
| KeyFilePath | Boolean | いいえ | 暗号化パラメーターを読み取るファイルパスです。構成されていない場合は、Logtail 構成 - 入力構成 - ファイルパス に従って読み取られます。 | ||
| KeepSourceValueIfError | String | いいえ | false | false | 暗号化に失敗した場合にシステムがソースフィールドの値を保持するかどうかを指定します。
ENCRYPT_ERROR に置き換えられます。 |
文字列の置き換え
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_string_replace | プラグインのタイプです。値を processor_string_replace に設定します。 |
| SourceKey | String | はい | ソースフィールド名です。 | ||
| Method | String | はい | 照合方法を指定します。有効な値:
| ||
| Match | String | いいえ | 照合するコンテンツを入力します。
| ||
| ReplaceString | String | いいえ | 置き換え用の文字列です。デフォルト値は "" です。
| ||
| DestKey | String | いいえ | 置き換えられたコンテンツの新しいフィールドを指定します。デフォルトでは、新しいフィールドは追加されません。 |
データのエンコードとデコード
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_base64_encoding | プラグインのタイプです。値を processor_base64_encoding に設定します。 |
| SourceKey | String | はい | ソースフィールド名です。 | ||
| NewKey | String | はい | エンコードされた結果のフィールド名です。 | ||
| NoKeyError | Boolean | いいえ | false | false | 指定されたソースフィールドが元のログに存在しない場合にシステムがエラーを報告するかどうかを指定します。
|
ログをメトリックに変換
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_log_to_sls_metric | プラグインのタイプです。値を processor_log_to_sls_metric に設定します。 |
| MetricTimeKey | String | いいえ | ログ内の時刻フィールドを指定します。これは時系列データの __time_nano__ フィールドにマッピングされます。デフォルトでは、ログの __time__ フィールドの値が抽出されます。指定されたフィールドが有効で、適切にフォーマットされたタイムスタンプであることを確認してください。現在、秒 (10 桁)、ミリ秒 (13 桁)、マイクロ秒 (16 桁)、ナノ秒 (19 桁) の UNIX タイムスタンプがサポートされています。 | ||
| MetricLabelKeys | []String | はい | __labels__ フィールドのキーのリストを指定します。キーは正規表現 ^[a-zA-Z_][a-zA-Z0-9_]*$ に従う必要があります。値には縦棒 (|) または #$# を含めることはできません。詳細については、「時系列データ (メトリック)」をご参照ください。MetricLabelKeys パラメーターに __labels__ フィールドを追加することはできません。ソースフィールドに __labels__ フィールドが含まれている場合、その値は新しい __labels__ フィールドに追加されます。 | ||
| MetricValues | Map | はい | メトリック名とメトリック値を指定するために使用されます。メトリック名は __name__ フィールドに対応し、正規表現 ^[a-zA-Z_:][a-zA-Z0-9_:]*$ に従う必要があります。メトリック値は __value__ フィールドに対応し、Double 型である必要があります。 詳細については、「時系列データ (メトリック)」をご参照ください。 | ||
| CustomMetricLabels | Map | いいえ | カスタム __labels__ フィールドです。キーは正規表現 ^[a-zA-Z_][a-zA-Z0-9_]*$ に従う必要があり、値には縦棒 (|) または #$# を含めることはできません。詳細については、「時系列データ (メトリック)」をご参照ください。 | ||
| IgnoreError | Boolean | いいえ | 一致するログがない場合にエラーログを出力するかどうかを指定します。デフォルト値は false で、エラーログは出力されません。 |
ログをトレースに変換
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_otel_trace | プラグインのタイプです。値を processor_otel_trace に設定します。 |
| SourceKey | String | はい | ソースフィールド名です。 | ||
| Format | String | はい | json | 変換後のフォーマットです。有効な値:protobuf、json、protojson。 | |
| NoKeyError | Boolean | いいえ | false | true | ログに対応するソースフィールドが見つからない場合にエラーを報告するかどうかを指定します。デフォルト値は false です。 |
| TraceIDNeedDecode | Boolean | いいえ | TraceID を Base64 デコードするかどうかを指定します。デフォルト値は false です。Format を protojson に設定し、TraceID が Base64 エンコードされている場合は、TraceIDNeedDecode を true に設定する必要があります。そうしないと、変換が失敗します。 | ||
| SpanIDNeedDecode | Boolean | いいえ | SpanID を Base64 デコードするかどうかを指定します。デフォルト値は false です。Format を protojson に設定し、SpanID が Base64 エンコードされている場合は、SpanIDNeedDecode を true に設定する必要があります。そうしないと、変換が失敗します。 | ||
| ParentSpanIDNeedDecode | Boolean | いいえ | ParentSpanID を Base64 デコードするかどうかを指定します。デフォルト値は false です。Format を protojson に設定し、ParentSpanID が Base64 エンコードされている場合は、ParentSpanIDNeedDecode を true に設定する必要があります。そうしないと、変換が失敗します。 |
出力プラグイン
SLS 出力プラグイン
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | flusher_sls | プラグインのタイプです。値を flusher_sls に設定します。 |
| Logstore | stirng | はい | / | test-logstore | Logstore の名前です。 |
レスポンスフィールド
|
フィールド |
型 |
説明 |
例 |
レスポンスフィールドがありません。
例
成功レスポンス
JSONJSON
{}
エラーコード
完全なリストについては、「エラーコード」をご参照ください。
変更履歴
完全なリストについては、「変更履歴」をご参照ください。