Logtail パイプライン構成を更新します。
今すぐお試しください
テスト
RAM 認証
|
アクション |
アクセスレベル |
リソースタイプ |
条件キー |
依存アクション |
|
log:UpdateLogtailPipelineConfig |
update |
*All Resource
|
|
なし |
リクエスト構文
PUT /pipelineconfigs/{configName} HTTP/1.1
パスパラメーター
|
パラメーター |
型 |
必須 / 任意 |
説明 |
例 |
| configName |
string |
必須 |
Logtail パイプライン構成の名前。 |
test-config |
リクエストパラメーター
|
パラメーター |
型 |
必須 / 任意 |
説明 |
例 |
| project |
string |
必須 |
プロジェクトの名前。 |
test-project |
| body |
object |
任意 |
Logtail パイプライン構成のコンテンツ。 |
|
| configName |
string |
必須 |
構成の名前。 重要 名前は、リクエストパスの configName パラメーターの値と同じである必要があります。 |
test-config |
| logSample |
string |
任意 |
サンプルログ。複数のログがサポートされています。 |
2022-06-14 11:13:29.796 | DEBUG | __main__: |
| global |
object |
任意 |
グローバル構成。 |
|
| inputs |
array<object> |
必須 |
入力プラグインのリスト。 重要 現在、設定できる入力プラグインは 1 つだけです。 |
|
|
object |
任意 |
入力プラグイン。 |
{ "Type": "input_file", "FilePaths": ["/var/log/*.log"] } |
|
| processors |
array<object> |
任意 |
処理プラグインのリスト。 説明
処理プラグインは、ネイティブ処理プラグインと拡張処理プラグインに分類されます。詳細については、「処理プラグイン」をご参照ください。 重要
説明
|
|
|
object |
任意 |
処理プラグイン。 説明
詳細については、「処理プラグイン」をご参照ください。 |
{ "Type": "processor_parse_json_native", "SourceKey": "content" } |
|
| aggregators |
array<object> |
任意 |
アグリゲータープラグインのリスト。 重要 このパラメーターは、拡張処理プラグインを使用する場合にのみ有効です。最大で 1 つのアグリゲータープラグインを使用できます。 |
|
|
object |
任意 |
アグリゲータープラグイン。 |
||
| flushers |
array<object> |
必須 |
出力プラグインのリスト。 重要 現在、追加できる SLS 出力プラグインは 1 つだけです。 |
|
|
object |
任意 |
出力プラグイン。 |
{ "Type": "flusher_sls", "Logstore": "test" } |
|
| task |
object |
任意 |
グローバル構成
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| TopicType | string | いいえ | Empty | filepath | トピックのタイプ。有効な値:
|
| TopicFormat | string | はい、TopicType が filepath または custom に設定されている場合。 | / | /var/log/(.*).log | トピックのフォーマット。 |
| EnableTimestampNanosecond | bool | いいえ | false | false | タイムスタンプのナノ秒精度を有効にするかどうかを指定します。 |
| PipelineMetaTagKey | object | いいえ | Empty | {"HOST_NAME":"__hostname__"} | 重要 このパラメーターは LoongCollector 3.0.10 以降でのみサポートされています。
|
入力プラグイン
ファイル入力プラグイン
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | input_file | プラグインのタイプ。値を input_file に設定します。 |
| FilePaths | [string] | はい | / | ["/var/log/*.log"] | 収集対象のログファイルのパスのリスト。現在、許可されているパスは 1 つだけです。パスにはアスタリスク (*) とダブルアスタリスク (**) のワイルドカードを使用できます。ダブルアスタリスク (**) ワイルドカードは 1 回のみ使用でき、ファイル名の前に使用する必要があります。 |
| MaxDirSearchDepth | uint | いいえ | 0 | 0 | ファイルパス内でダブルアスタリスク (**) ワイルドカードが一致できるサブディレクトリの最大深度。このパラメーターは、ログパスでダブルアスタリスク (**) ワイルドカードが使用されている場合にのみ有効です。有効な値:0~1000。 |
| ExcludeFilePaths | [string] | いいえ | Empty | ["/home/admin/*.log"] | ファイルパスのブラックリスト。パスは絶対パスである必要があります。アスタリスク (*) ワイルドカードがサポートされています。 |
| ExcludeFiles | [string] | いいえ | Empty | ["app*.log", "password"] | ファイル名のブラックリスト。アスタリスク (*) ワイルドカードがサポートされています。 |
| ExcludeDirs | [string] | いいえ | Empty | ["/home/admin/dir1", "/home/admin/dir2*"] | ディレクトリのブラックリスト。パスは絶対パスである必要があります。アスタリスク (*) ワイルドカードがサポートされています。 |
| FileEncoding | string | いいえ | utf8 | utf8 | ファイルのエンコード形式。有効な値:utf8 および gbk。 |
| TailSizeKB | uint | いいえ | 1024 | 1024 | 構成が初めて有効になったときの一致したファイルの開始収集位置。ファイルの末尾から測定されます。ファイルサイズがこの値より小さい場合、収集は最初から開始されます。有効な値:0~10485760 KB。 |
| Multiline | object | いいえ | Empty | / | 複数行集約オプション。 |
| Multiline.Mode | string | いいえ | custom | custom | 複数行集約モード。有効な値:custom および JSON。 |
| Multiline.StartPattern | string | Multiline.Mode が custom に設定されている場合は必須。 | Empty | \d+-\d+-\d+.* | 行の開始を示す正規表現。 |
| EnableContainerDiscovery | bool | いいえ | false | true | コンテナー検出を有効にするかどうかを指定します。このパラメーターは、Logtail が DaemonSet モードで実行され、収集されたファイルパスがコンテナー内のパスである場合にのみ有効です。 |
| ContainerFilters | object | いいえ | Empty | / | コンテナーフィルタリングオプション。複数のオプション間の関係は「AND」です。このパラメーターは、EnableContainerDiscovery が true に設定されている場合にのみ有効です。 |
| ContainerFilters.K8sNamespaceRegex | string | いいえ | Empty | default | Kubernetes 環境にデプロイされたコンテナーの場合、収集対象のコンテナーが属する Pod の名前空間の条件を指定します。このパラメーターを追加しない場合、すべてのコンテナーが収集されます。正規表現がサポートされています。 |
| ContainerFilters.K8sPodRegex | string | いいえ | Empty | test-pod | Kubernetes 環境にデプロイされたコンテナーの場合、収集対象のコンテナーが属する Pod の名前の条件を指定します。このパラメーターを追加しない場合、すべてのコンテナーが収集されます。正規表現がサポートされています。 |
| ContainerFilters.IncludeK8sLabel | map | いいえ | Empty | / | Kubernetes 環境にデプロイされたコンテナーの場合、収集対象のコンテナーが属する Pod のラベル条件を指定します。複数の条件間の関係は「OR」です。このパラメーターを追加しない場合、すべてのコンテナーが収集されます。正規表現がサポートされています。マップのキーは Pod ラベルの名前、値は Pod ラベルの値です。以下のルールが適用されます:
|
| ContainerFilters.ExcludeK8sLabel | map | いいえ | Empty | / | Kubernetes 環境にデプロイされたコンテナーの場合、収集から除外するコンテナーが属する Pod のラベル条件を指定します。複数の条件間の関係は「OR」です。このパラメーターを追加しない場合、すべてのコンテナーが収集されます。正規表現がサポートされています。マップのキーは Pod ラベルの名前、値は Pod ラベルの値です。以下のルールが適用されます:
|
| ContainerFilters.K8sContainerRegex | string | いいえ | Empty | test-container | Kubernetes 環境にデプロイされたコンテナーの場合、収集対象のコンテナーの名前の条件を指定します。このパラメーターを追加しない場合、すべてのコンテナーが収集されます。正規表現がサポートされています。 |
| ContainerFilters.IncludeEnv | map | いいえ | Empty | / | 収集対象のコンテナーの環境変数条件を指定します。複数の条件間の関係は「OR」です。このパラメーターを追加しない場合、すべてのコンテナーが収集されます。正規表現がサポートされています。マップのキーは環境変数の名前、値は環境変数の値です。以下のルールが適用されます:
|
| ContainerFilters.ExcludeEnv | map | いいえ | Empty | / | 収集から除外するコンテナーの環境変数条件を指定します。複数の条件間の関係は「OR」です。このパラメーターを追加しない場合、すべてのコンテナーが収集されます。正規表現がサポートされています。マップのキーは環境変数の名前、値は環境変数の値です。以下のルールが適用されます:
|
| ContainerFilters.IncludeContainerLabel | map | いいえ | Empty | / | 収集対象のコンテナーのラベル条件を指定します。複数の条件間の関係は「OR」です。このパラメーターを追加しない場合、デフォルト値は空になり、すべてのコンテナーが収集されます。正規表現がサポートされています。マップのキーはコンテナーラベルの名前、値はコンテナーラベルの値です。以下のルールが適用されます:
|
| ContainerFilters.ExcludeContainerLabel | map | いいえ | Empty | / | 収集から除外するコンテナーのラベル条件を指定します。複数の条件間の関係は「OR」です。このパラメーターを追加しない場合、デフォルト値は空になり、すべてのコンテナーが収集されます。正規表現がサポートされています。マップのキーはコンテナーラベルの名前、値はコンテナーラベルの値です。以下のルールが適用されます:
|
| ExternalK8sLabelTag | map | いいえ | Empty | / | Kubernetes 環境にデプロイされたコンテナーの場合、ログに追加する Pod ラベル関連のタグを指定します。マップのキーは Pod ラベルの名前、値は対応するタグ名です。たとえば、マップに app: k8s_label_app を追加し、Pod に app=serviceA というラベルがある場合、この情報はタグとしてログに追加されます。つまり、フィールド __tag__:k8s_label_app: serviceA が追加されます。Pod に app ラベルがない場合、空のフィールド __tag__:k8s_label_app: が追加されます。 |
| ExternalEnvTag | map | いいえ | Empty | / | Kubernetes 環境にデプロイされたコンテナーの場合、ログに追加するコンテナー環境変数関連のタグを指定します。マップのキーは環境変数の名前、値は対応するタグ名です。たとえば、マップに VERSION: env_version を追加し、コンテナーに VERSION=v1.0.0 という環境変数がある場合、この情報はタグとしてログに追加されます。つまり、フィールド __tag__:env_version: v1.0.0 が追加されます。コンテナーに VERSION 環境変数がない場合、空のフィールド __tag__:env_version: が追加されます。 |
| CollectingContainersMeta | bool | いいえ | false | true | コンテナーメタデータのプレビューを有効にするかどうかを指定します。 |
| AppendingLogPositionMeta | bool | いいえ | false | false | ログが属するファイルのメタデータをログに追加するかどうかを指定します。メタデータには、__tag__:__inode__ フィールドと __file_offset__ フィールドが含まれます。 |
| AllowingIncludedByMultiConfigs | bool | いいえ | false | false | 現在の構成が他の構成によって一致したファイルを収集することを許可するかどうかを指定します。 |
| Tags | object | いいえ | Empty | {"FileInodeTagKey":"__inode__"} | 重要 このパラメーターは LoongCollector 3.0.10 以降でのみサポートされています。
|
| FileOffsetKey | string | いいえ | Empty | __file_offset__ | 重要 このパラメーターは LoongCollector 3.0.10 以降でのみサポートされています。 |
コンテナー stdout (レガシー)
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | service_docker_stdout | プラグインのタイプ。値を service_docker_stdout に設定します。 |
| Stdout | Boolean | いいえ | true | true | 標準出力 (stdout) を収集するかどうかを指定します。 |
| Stderr | Boolean | いいえ | true | true | 標準エラー (stderr) を収集するかどうかを指定します。 |
| StartLogMaxOffset | Integer | いいえ | 128 × 1024 | 131072 | 最初の収集時に取得する既存データの長さ (バイト単位)。131072 から 1048576 の間の値を推奨します。 |
| IncludeLabel | Map、LabelKey と LabelValue は String 型 | いいえ | Empty | 収集対象のコンテナーを指定するためのコンテナーラベルのホワイトリスト。デフォルト値は空で、すべてのコンテナーの標準出力が収集されます。コンテナーラベルのホワイトリストを設定する場合、LabelKey は必須で、LabelValue はオプションです。
複数のホワイトリスト条件間の関係は「OR」であり、コンテナーのラベルがホワイトリスト条件のいずれかを満たす場合に一致します。 | |
| ExcludeLabel | Map、LabelKey と LabelValue は String 型 | いいえ | Empty | 収集からコンテナーを除外するためのコンテナーラベルのブラックリスト。デフォルト値は空で、コンテナーは除外されません。コンテナーラベルのブラックリストを設定する場合、LabelKey は必須で、LabelValue はオプションです。
複数のブラックリスト条件間の関係は「OR」であり、コンテナーのラベルがブラックリスト条件のいずれかを満たす場合に除外されます。 | |
| IncludeEnv | Map、EnvKey と EnvValue は String 型 | いいえ | Empty | 収集対象のコンテナーを指定するための環境変数のホワイトリスト。デフォルト値は空で、すべてのコンテナーの標準出力が収集されます。環境変数のホワイトリストを設定する場合、EnvKey は必須で、EnvValue はオプションです。
| |
| ExcludeEnv | Map、EnvKey と EnvValue は String 型 | いいえ | Empty | 収集からコンテナーを除外するための環境変数のブラックリスト。デフォルト値は空で、コンテナーは除外されません。環境変数のブラックリストを設定する場合、EnvKey は必須で、EnvValue はオプションです。
複数のブラックリスト条件間の関係は「OR」であり、コンテナーの環境変数がキーと値のペアのいずれかを満たす場合に除外されます。 | |
| IncludeK8sLabel | Map、LabelKey と LabelValue は String 型 | いいえ | Empty | 収集対象のコンテナーを指定するための Kubernetes ラベル (template.metadata で定義) のホワイトリスト。Kubernetes ラベルのホワイトリストを設定する場合、LabelKey は必須で、LabelValue はオプションです。
複数のホワイトリスト条件間の関係は「OR」であり、コンテナーの Kubernetes ラベルがホワイトリスト条件のいずれかを満たす場合に一致します。 | |
| ExcludeK8sLabel | Map、LabelKey と LabelValue は String 型 | いいえ | Empty | 収集からコンテナーを除外するための Kubernetes ラベル (template.metadata で定義) のブラックリスト。Kubernetes ラベルのブラックリストを設定する場合、LabelKey は必須で、LabelValue はオプションです。
複数のブラックリスト条件間の関係は「OR」であり、コンテナーの Kubernetes ラベルがブラックリスト条件のいずれかを満たす場合に除外されます。 | |
| K8sNamespaceRegex | String | いいえ | Empty | ^(default|nginx)$ | 名前空間名で収集対象のコンテナーを指定します。正規表現がサポートされています。たとえば、これを ^(default|nginx)$ に設定すると、nginx および default 名前空間のすべてのコンテナーが一致します。 |
| K8sPodRegex | String | いいえ | Empty | ^(nginx-log-demo.*)$ | Pod 名で収集対象のコンテナーを指定します。正規表現がサポートされています。たとえば、これを ^(nginx-log-demo.*)$ に設定すると、名前が nginx-log-demo で始まる Pod 内のすべてのコンテナーが一致します。 |
| K8sContainerRegex | String | いいえ | Empty | ^(container-test)$ | コンテナー名で収集対象のコンテナーを指定します (Kubernetes コンテナー名は spec.containers で定義されます)。正規表現がサポートされています。たとえば、これを ^(container-test)$ に設定すると、container-test という名前のすべてのコンテナーが一致します。 |
データ処理パラメーター
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| BeginLineRegex | String | いいえ | Empty | 行の開始を照合するための正規表現。 この設定項目が空の場合、単一行モードを示します。 この式が行の先頭に一致する場合、その行は新しいログとして扱われます。それ以外の場合、その行は前のログに追加されます。 | |
| BeginLineCheckLength | Integer | いいえ | Empty | 行の開始一致をチェックする長さ (バイト単位)。 デフォルト値は 10 × 1024 バイトです。 行の開始の正規表現が最初の N バイト内で一致できる場合は、このパラメーターを設定して行の開始一致の効率を向上させることを推奨します。 | |
| BeginLineTimeoutMs | Integer | いいえ | Empty | 行の開始を照合するためのタイムアウト期間 (ミリ秒単位)。 デフォルト値は 3000 ミリ秒です。 3000 ミリ秒以内に新しいログが表示されない場合、照合は終了し、最後のログが Simple Log Service にアップロードされます。 | |
| MaxLogSize | Integer | いいえ | Empty | ログの最大長、バイト単位。デフォルト値は 0 です。 デフォルト値は 512 × 1024 バイトです。 ログの長さがこの値を超えると、システムは行の開始の検索を停止し、ログを直接アップロードします。 | |
| ExternalK8sLabelTag | Map、LabelKey と LabelValue は String 型 | いいえ | Empty | Kubernetes ラベル (template.metadata で定義) のログタグを設定した後、iLogtail は Kubernetes ラベル関連のフィールドをログに追加します。 たとえば、LabelKey を app に、LabelValue を | |
| ExternalEnvTag | Map、EnvKey と EnvValue は String 型 | いいえ | Empty | コンテナー環境変数のログタグを設定した後、iLogtail はコンテナー環境変数関連のフィールドをログに追加します。 たとえば、EnvKey を |
データ処理環境変数
| 環境変数 | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| ALIYUN_LOG_ENV_TAGS | String | いいえ | Empty | グローバル環境変数のログタグを設定した後、iLogtail は iLogtail コンテナーの環境変数に関連するフィールドをログに追加します。複数の環境変数名は縦線 (|) で区切られます。 たとえば、これを node_name|node_ip に設定し、iLogtail コンテナーが関連する環境変数を公開している場合、この情報はタグとしてログに追加されます。つまり、フィールド node_ip:172.16.0.1 と node_name:worknode が追加されます。 |
MySQL 入力プラグイン
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | service_mysql | プラグインのタイプ。値を service_mysql に設定します。 |
| Address | string | いいえ | 127.0.0.1:3306 | rm-*.mysql.rds.aliyuncs.com | MySQL アドレス。 |
| User | string | いいえ | root | root | MySQL データベースにログインするためのユーザー名。 |
| Password | string | いいえ | Empty | ユーザーが MySQL データベースにログインするためのパスワード。高いセキュリティ要件がある場合は、ユーザー名とパスワードを xxx に設定します。収集構成がマシンに同期された後、/usr/local/ilogtail/user_log_config.json ファイルで構成を見つけて変更します。詳細については、「ローカル構成の変更」をご参照ください。重要 コンソールでこのパラメーターを変更すると、同期後にローカル構成が上書きされます。 | |
| DataBase | string | いいえ | / | project_database | データベースの名前。 |
| DialTimeOutMs | int | いいえ | 5000 | 5000 | MySQL データベースへの接続タイムアウト期間 (ms)。 |
| ReadTimeOutMs | int | いいえ | 5000 | 5000 | MySQL クエリ結果の読み取りタイムアウト期間 (ms)。 |
| StateMent | string | いいえ | / | SELECT 文。CheckPoint が true に設定されている場合、SELECT 文の WHERE 条件にはチェックポイント列 (CheckPointColumn) を含める必要があります。チェックポイント列と連携するプレースホルダーとして疑問符 (?) を使用できます。たとえば、CheckPointColumn を id に、CheckPointStart を 0 に、StateMent を SELECT * from ... where id > ? に設定します。各収集の後、システムは最後のデータ入力の ID をチェックポイントとして保存します。次の収集では、クエリ文の疑問符 (?) がそのチェックポイントに対応する ID に置き換えられます。 | |
| Limit | bool | いいえ | false | true | ページングに LIMIT を使用するかどうかを指定します。
|
| PageSize | int | いいえ | / | 10 | ページサイズ。Limit が true に設定されている場合は、これを設定する必要があります。 |
| MaxSyncSize | int | いいえ | 0 | 0 | 一度に同期するレコードの最大数。デフォルト値は 0 で、制限がないことを意味します。 |
| CheckPoint | bool | いいえ | false | true | チェックポイントを使用するかどうかを指定します。
|
| CheckPointColumn | string | いいえ | Empty | 1 | チェックポイント列の名前。CheckPoint が true に設定されている場合は、これを設定する必要があります。警告 この列の値は増分でなければなりません。そうでない場合、データが失われる可能性があります。各クエリ結果の最大値が、次のクエリの入力として使用されます。 |
| CheckPointColumnType | string | いいえ | Empty | int | チェックポイント列のデータの型。サポートされている型は int と time です。int 型の内部ストレージは int64 です。time 型は MySQL の date、datetime、time 型をサポートします。CheckPoint が true に設定されている場合は、これを設定する必要があります。 |
| CheckPointStart | string | いいえ | Empty | チェックポイント列の初期値。CheckPoint が true に設定されている場合は、これを設定する必要があります。 | |
| CheckPointSavePerPage | bool | いいえ | true | true | 各ページでチェックポイントを保存するかどうかを指定します。
|
| IntervalMs | int | いいえ | 60000 | 60000 | 同期間隔。デフォルト値は 60000 (ms) です。 |
HTTP 入力プラグイン
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | metric_http | プラグインのタイプ。値を metric_http に設定します。 |
| Address | string | はい | / | URL のリスト。 重要 http または https で始まる必要があります。 | |
| IntervalMs | int | はい | / | 10 | 各リクエストの間隔 (ms)。 |
| Method | string | いいえ | GET | GET | リクエストメソッドの名前。大文字である必要があります。 |
| Body | string | いいえ | Empty | HTTP Body フィールドのコンテンツ。 | |
| Headers | map | いいえ | Empty | {"key":"value"} | HTTP ヘッダーのコンテンツ。例:{"key":"value"}。実際の値に置き換えてください。 |
| PerAddressSleepMs | int | いいえ | 100 | 100 | Addresses リスト内の各 URL のリクエスト間隔 (ms)。 |
| ResponseTimeoutMs | int | いいえ | 5000 | 5000 | リクエストタイムアウト期間 (ms)。 |
| IncludeBody | bool | いいえ | false | true | リクエスト Body を収集するかどうかを指定します。デフォルト値は false です。true に設定すると、リクエスト Body のコンテンツは content という名前のキーに保存されます。 |
| FollowRedirects | bool | いいえ | false | false | リダイレクトを自動的に処理するかどうかを指定します。 |
| InsecureSkipVerify | bool | いいえ | false | false | HTTPS セキュリティチェックをスキップするかどうかを指定します。 |
| ResponseStringMatch | string | いいえ | / | 返された Body コンテンツに対して正規表現チェックを実行します。チェック結果は _response_match_ という名前のキーに保存されます。一致する場合、値は yes です。一致しない場合、値は no です。 |
Syslog 入力プラグイン
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | service_syslog | プラグインのタイプ。値を service_syslog に設定します。 |
| Address | string | いいえ | tcp://127.0.0.1:9999 | Logtail がリッスンするプロトコル、アドレス、ポートを指定します。Logtail は Logtail 構成に基づいてリッスンし、ログデータを取得します。フォーマットは [tcp/udp]://[ ip ]:[ port ] です。設定しない場合、デフォルトは tcp://127.0.0.1:9999 で、ローカルで転送されたログのみを受信できることを意味します。 注
| |
| ParseProtocol | string | いいえ | Empty | rfc3164 | ログの解析に使用するプロトコルを指定します。デフォルトは空で、解析しないことを意味します。オプションは次のとおりです:
|
| IgnoreParseFailure | bool | いいえ | true | true | 解析失敗後のアクションを指定します。設定しない場合、デフォルトは true で、解析を中止し、返された content フィールドを直接埋めることを意味します。false に設定すると、解析失敗時にログは破棄されます。 |
Systemd Journal 入力プラグイン
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | service_journal | プラグインのタイプ。値を service_journal に設定します。 |
| JournalPaths | [string] | はい | Empty | /var/log/journal | Journal ログパス。Journal ログが配置されているディレクトリとして設定することを推奨します。 |
| SeekPosition | string | いいえ | tail | tail | 初期収集方法。head または tail に設定できます。
|
| Kernel | bool | いいえ | true | true | カーネルログを収集するかどうかを指定します。 |
| Units | [string] | いいえ | Empty | "" | 収集する Units のリスト。デフォルトは空で、すべて収集されることを意味します。 |
| ParseSyslogFacility | bool | いいえ | false | false | syslog ログの facility フィールドを解析するかどうかを指定します。設定しない場合、解析されません。 |
| ParsePriority | bool | いいえ | false | false | Priority フィールドを解析するかどうかを指定します。設定しない場合、解析されません。true に設定すると、Priority フィールドのマッピング関係は次のようになります。 "0": "emergency" "1": "alert" "2": "critical" "3": "error" "4": "warning" "5": "notice" "6": "informational" "7": "debug" |
| UseJournalEventTime | bool | いいえ | false | false | Journal ログのフィールドをログ時間として使用するかどうかを指定します。設定しない場合、収集時間がログ時間として使用されます。リアルタイムのログ収集では、通常 3 秒未満の差があります。 |
SQL Server 入力プラグイン
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | service_mssql | プラグインのタイプ。値を service_mssql に設定します。 |
| Address | string | いいえ | 127.0.0.1:1433 | rm-*.sqlserver.rds.aliyuncs.com | SQL Server アドレス。 |
| User | string | いいえ | root | root | SQL Server データベースにログインするためのアカウント名。 |
| Password | string | いいえ | Empty | アカウントが SQL Server データベースにログインするためのパスワード。高いセキュリティ要件がある場合は、ユーザー名とパスワードを xxx に設定します。収集構成がマシンに同期された後、/usr/local/ilogtail/user_log_config.json ファイルで構成を見つけて変更します。詳細については、「ローカル構成の変更」をご参照ください。重要 コンソールでこのパラメーターを変更すると、同期後にローカル構成が上書きされます。 | |
| DataBase | string | いいえ | / | project_database | データベースの名前。 |
| DialTimeOutMs | int | いいえ | 5000 | 5000 | SQL Server データベースへの接続タイムアウト期間 (ms)。 |
| ReadTimeOutMs | int | いいえ | 5000 | 5000 | SQL Server クエリ結果の読み取りタイムアウト期間 (ms)。 |
| StateMent | string | いいえ | / | SELECT 文。CheckPoint が true に設定されている場合、SELECT 文の WHERE 条件にはチェックポイント列 (CheckPointColumn) を含める必要があります。チェックポイント列と連携するプレースホルダーとして疑問符 (?) を使用できます。たとえば、CheckPointColumn を id に、CheckPointStart を 0 に、StateMent を SELECT * from ... where id > ? に設定します。各収集の後、システムは最後のデータ入力の ID をチェックポイントとして保存します。次の収集では、クエリ文の疑問符 (?) がそのチェックポイントに対応する ID に置き換えられます。 | |
| Limit | bool | いいえ | false | true | ページングに LIMIT を使用するかどうかを指定します。
|
| PageSize | int | いいえ | / | 10 | ページサイズ。Limit が true に設定されている場合は、これを設定する必要があります。 |
| MaxSyncSize | int | いいえ | 0 | 0 | 一度に同期するレコードの最大数。デフォルト値は 0 で、制限がないことを意味します。 |
| CheckPoint | bool | いいえ | false | true | チェックポイントを使用するかどうかを指定します。
|
| CheckPointColumn | string | いいえ | Empty | 1 | チェックポイント列の名前。CheckPoint が true に設定されている場合は、これを設定する必要があります。警告 この列の値は増分でなければなりません。そうでない場合、データが失われる可能性があります。各クエリ結果の最大値が、次のクエリの入力として使用されます。 |
| CheckPointColumnType | string | いいえ | Empty | int | チェックポイント列のデータの型。サポートされている型は int と time です。int 型の内部ストレージは int64 です。time 型は SQL Server の date、datetime、time 型をサポートします。CheckPoint が true に設定されている場合は、これを設定する必要があります。 |
| CheckPointStart | string | いいえ | Empty | チェックポイント列の初期値。CheckPoint が true に設定されている場合は、これを設定する必要があります。 | |
| CheckPointSavePerPage | bool | いいえ | true | true | 各ページでチェックポイントを保存するかどうかを指定します。
|
| IntervalMs | int | いいえ | 60000 | 60000 | 同期間隔。デフォルト値は 60000 (ms) です。 |
PostgreSQL 入力プラグイン
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | service_pgsql | プラグインのタイプ。値を service_pgsql に設定します。 |
| Address | string | いいえ | 127.0.0.1:5432 | rm-*.pg.rds.aliyuncs.com | PostgreSQL アドレス。 |
| User | string | いいえ | root | root | PostgreSQL データベースにログインするためのアカウント名。 |
| Password | string | いいえ | Empty | アカウントが PostgreSQL データベースにログインするためのパスワード。高いセキュリティ要件がある場合は、ユーザー名とパスワードを xxx に設定します。収集構成がマシンに同期された後、/usr/local/ilogtail/user_log_config.json ファイルで構成を見つけて変更します。詳細については、「ローカル構成の変更」をご参照ください。重要 コンソールでこのパラメーターを変更すると、同期後にローカル構成が上書きされます。 | |
| DataBase | string | いいえ | / | project_database | PostgreSQL データベースの名前。 |
| DialTimeOutMs | int | いいえ | 5000 | 5000 | PostgreSQL データベースへの接続タイムアウト期間 (ms)。 |
| ReadTimeOutMs | int | いいえ | 5000 | 5000 | PostgreSQL クエリ結果の読み取りタイムアウト期間 (ms)。 |
| StateMent | string | いいえ | / | SELECT 文。CheckPoint が true に設定されている場合、StateMent の SELECT 文の WHERE 条件にはチェックポイント列 (CheckPointColumn パラメーター) を含める必要があり、その値は $1 に設定する必要があります。たとえば、CheckPointColumn を id に、StateMent を SELECT * from ... where id > $1 | |
| Limit | bool | いいえ | false | true | ページングに LIMIT を使用するかどうかを指定します。
|
| PageSize | int | いいえ | / | 10 | ページサイズ。Limit が true に設定されている場合は、これを設定する必要があります。 |
| MaxSyncSize | int | いいえ | 0 | 0 | 一度に同期するレコードの最大数。デフォルト値は 0 で、制限がないことを意味します。 |
| CheckPoint | bool | いいえ | false | true | チェックポイントを使用するかどうかを指定します。
|
| CheckPointColumn | string | いいえ | Empty | 1 | チェックポイント列の名前。CheckPoint が true に設定されている場合は、これを設定する必要があります。警告 この列の値は増分でなければなりません。そうでない場合、データが失われる可能性があります。各クエリ結果の最大値が、次のクエリの入力として使用されます。 |
| CheckPointColumnType | string | いいえ | Empty | int | チェックポイント列のデータの型。サポートされている型は int と time です。int 型の内部ストレージは int64 です。time 型は PostgreSQL の time 型をサポートします。CheckPoint が true に設定されている場合は、これを設定する必要があります。 |
| CheckPointStart | string | いいえ | Empty | チェックポイント列の初期値。CheckPoint が true に設定されている場合は、これを設定する必要があります。 | |
| CheckPointSavePerPage | bool | いいえ | true | true | 各ページでチェックポイントを保存するかどうかを指定します。
|
| IntervalMs | int | いいえ | 60000 | 60000 | 同期間隔。デフォルト値は 60000 (ms) です。 |
SNMP 入力プラグイン
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Targets | [string] | はい | / | 127.0.0.1 | ターゲットマシングループの IP アドレス。 |
| Port | string | いいえ | 161 | 161 | SNMP プロトコルが使用するポート。 |
| Community | string | いいえ | public | public | コミュニティ名。SNMPv1 および SNMPv2 は、認証にコミュニティ名を使用します。 |
| UserName | string | いいえ | Empty | root | ユーザー名。SNMPv3 はユーザー名を使用した認証をサポートします。 |
| AuthenticationProtocol | string | いいえ | NoAuth | NoAuth | 認証プロトコル。SNMPv3 は認証プロトコルを使用した認証をサポートします。 |
| AuthenticationPassphrase | string | いいえ | Empty | 認証パスワード。デフォルト値は空です。AuthenticationProtocol を MD5 または SHA に設定した場合、AuthenticationPassphrase を設定する必要があります。 | |
| PrivacyProtocol | string | いいえ | NoPriv | NoPriv | プライバシープロトコル。SNMPv3 はプライバシープロトコルを使用した認証をサポートします。 |
| PrivacyPassphrase | string | いいえ | Empty | プライバシープロトコルのパスワード。デフォルトでは、認証パスワードと同じです。PrivacyProtocol を DES または AES に設定した場合、PrivacyPassphrase を設定する必要があります。 | |
| Timeout | int | いいえ | 5 | 5 | 単一のクエリ操作のタイムアウト期間 (秒単位)。 |
| Version | int | いいえ | 2 | 2 | SNMP プロトコルのバージョン。有効な値は 1、2、3 です。 |
| Transport | string | いいえ | udp | udp | SNMP 通信方式。有効な値は udp と tcp です。 |
| MaxRepetitions | int | いいえ | 0 | 0 | クエリタイムアウト後の再試行回数。 |
| Oids | [string] | いいえ | Empty | 1 | ターゲットマシンでクエリするオブジェクト識別子。 |
| Fields | [string] | いいえ | Empty | int | ターゲットマシンでクエリするフィールド。このプラグインは、まずローカルの Management Information Base (MIB) でフィールドを検索して変換し、オブジェクト識別子に変換してまとめてクエリします。 |
| Tables | [string] | いいえ | Empty | ターゲットマシンでクエリするテーブル。このプラグインは、まずテーブル内のすべてのフィールドをクエリし、次にローカルの Management Information Base (MIB) でそれらを検索し、オブジェクト識別子に変換してまとめてクエリします。 |
スクリプト出力プラグイン
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | input_command | プラグインのタイプ。値を input_command に設定します。 |
| ScriptType | string | はい | Empty | shell | スクリプトコンテンツのタイプを指定します。現在、bash、shell、python2、python3 をサポートしています。 |
| User | string | はい | / | public | コマンドを実行するために使用されるユーザー名。非 root ユーザーのみがサポートされています。注 * 指定されたユーザー名がマシンに存在することを確認してください。 必要なディレクトリまたはファイルにのみ rwx 権限を付与する最小権限を設定することを推奨します。 |
| ScriptContent | string | はい | Empty | スクリプトコンテンツ。PlainText および Base64 で暗号化されたコンテンツをサポートし、長さは 512*1024 バイト以内です。 | |
| ContentEncoding | string | いいえ | PlainText | PlainText | スクリプトコンテンツのテキスト形式。有効な値:
|
| LineSplitSep | string | いいえ | Empty | スクリプト出力コンテンツの区切り文字。空の場合、分割は行われず、出力全体が単一のデータ入力として返されます。 | |
| CmdPath | string | いいえ | Empty | /usr/bin/bash | スクリプトコマンドを実行するパス。空の場合、デフォルトパスが使用されます。デフォルトパスは次のとおりです:
|
| TimeoutMilliSeconds | int | いいえ | 3000 | 3000 | スクリプトの実行タイムアウト期間 (ミリ秒)。 |
| IgnoreError | bool | いいえ | false | false | プラグインの実行が失敗したときにエラーログを無視するかどうかを指定します。デフォルト値は false で、無視しないことを意味します。 |
| Environments | [string] | いいえ | 環境変数。デフォルトは os.Environ() の値です。Environments が設定されている場合、設定された環境変数は os.Environ() に追加されます。 | ||
| IntervalMs | int | いいえ | 5000 | 5000 | 収集トリガー周波数またはスクリプト実行周波数 (ミリ秒)。 |
ネイティブ処理プラグイン
ネイティブ正規表現解析プラグイン
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_parse_regex_native | プラグインのタイプ。値を processor_parse_regex_native に設定します。 |
| SourceKey | string | はい | / | content | ソースフィールドの名前。 |
| Regex | string | はい | / | (\d+-\d+-\d+)\s+(.*) | 正規表現。 |
| Keys | [string] | はい | / | ["time", "msg"] | 抽出されたフィールドのリスト。 |
| KeepingSourceWhenParseFail | bool | いいえ | false | false | 解析に失敗した場合にソースフィールドを保持するかどうかを指定します。 |
| KeepingSourceWhenParseSucceed | bool | いいえ | false | false | 解析に成功した場合にソースフィールドを保持するかどうかを指定します。 |
| RenamedSourceKey | string | いいえ | Empty | key | ソースフィールドを保持する場合に保存するフィールド名。入力しない場合、デフォルトでは名前は変更されません。 |
ネイティブ JSON 解析プラグイン
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_parse_json_native | プラグインのタイプ。値を processor_parse_json_native に設定します。 |
| SourceKey | string | はい | / | content | ソースフィールドの名前。 |
| KeepingSourceWhenParseFail | bool | いいえ | false | false | 解析に失敗した場合にソースフィールドを保持するかどうかを指定します。 |
| KeepingSourceWhenParseSucceed | bool | いいえ | false | false | 解析に成功した場合にソースフィールドを保持するかどうかを指定します。 |
| RenamedSourceKey | string | いいえ | Empty | key | ソースフィールドを保持する場合に保存するフィールド名。入力しない場合、デフォルトでは名前は変更されません。 |
ネイティブ区切り文字解析プラグイン
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_parse_delimiter_native | プラグインのタイプ。値を processor_parse_delimiter_native に設定します。 |
| SourceKey | string | はい | / | content | ソースフィールドの名前。 |
| Separator | string | はい | / | , | 区切り文字。 |
| Quote | string | いいえ | " | " | 引用符。 |
| Keys | [string] | はい | / | ["time", "msg"] | 抽出されたフィールドのリスト。 |
| AllowingShortenedFields | bool | いいえ | true | true | 抽出されたフィールドの数が Keys の数より少なくなることを許可するかどうかを指定します。許可しない場合、このシナリオは解析失敗として扱われます。 |
| OverflowedFieldsTreatment | string | いいえ | extend | extend | 抽出されたフィールドの数が Keys の数より多い場合の動作。有効な値:
|
| KeepingSourceWhenParseFail | bool | いいえ | false | false | 解析に失敗した場合にソースフィールドを保持するかどうかを指定します。 |
| KeepingSourceWhenParseSucceed | bool | いいえ | false | false | 解析に成功した場合にソースフィールドを保持するかどうかを指定します。 |
| RenamedSourceKey | string | いいえ | Empty | key | ソースフィールドを保持する場合に保存するフィールド名。入力しない場合、デフォルトでは名前は変更されません。 |
ネイティブ Apsara 解析プラグイン
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_parse_apsara_native | プラグインのタイプ。値を processor_parse_apsara_native に設定します。 |
| SourceKey | string | はい | / | content | ソースフィールドの名前。 |
| Timezone | string | いいえ | Empty | GMT+08:00 | ログ時間のタイムゾーン。フォーマットは GMT+HH:MM (東) または GMT-HH:MM (西) です。 |
| KeepingSourceWhenParseFail | bool | いいえ | false | false | 解析に失敗した場合にソースフィールドを保持するかどうかを指定します。 |
| KeepingSourceWhenParseSucceed | bool | いいえ | false | false | 解析に成功した場合にソースフィールドを保持するかどうかを指定します。 |
| RenamedSourceKey | string | いいえ | Empty | key | ソースフィールドを保持する場合に保存するフィールド名。入力しない場合、デフォルトでは名前は変更されません。 |
ネイティブ時間解析プラグイン
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_parse_timestamp_native | プラグインのタイプ。値を processor_parse_timestamp_native に設定します。 |
| SourceKey | string | はい | / | content | ソースフィールドの名前。 |
| SourceFormat | string | はい | / | %Y/%m/%d %H:%M:%S | ログ時間のフォーマット。詳細については、「時間フォーマット」をご参照ください。 |
| SourceTimezone | string | いいえ | Empty | GMT+08:00 | ログ時間のタイムゾーン。フォーマットは GMT+HH:MM (東) または GMT-HH:MM (西) です。 |
ネイティブフィルタープラグイン
| パラメーター | タイプ | 必須 | 例 | デフォルト値 | 説明 |
| Type | string | はい | processor_filter_regex_native | / | プラグインのタイプ。値を processor_filter_regex_native に設定します。 |
| Include | map | はい | / | / | ログフィールドのホワイトリスト。キーはフィールド名、値は正規表現です。これは、現在のイベントが収集されるために、キーで指定されたフィールドのコンテンツが満たすべき条件を示します。複数の条件間の関係は「AND」です。すべての条件が満たされた場合にのみログが収集されます。 |
ネイティブデータマスキングプラグイン
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_desensitize_native | プラグインのタイプ。値を processor_desensitize_native に設定します。 |
| SourceKey | string | はい | / | content | ソースフィールドの名前。 |
| Method | string | はい | / | const | データマスキング方法。有効な値:const:機密コンテンツを定数に置き換えます。md5:機密コンテンツをその MD5 値に置き換えます。 |
| ReplacingString | string | いいえ、Method が const に設定されている場合は必須。 | / | ****** | 機密コンテンツを置き換えるために使用される定数文字列。 |
| ContentPatternBeforeReplacedString | string | はい | / | 'password:' | 機密コンテンツのプレフィックス正規表現。 |
| ReplacedContentPattern | string | はい | / | [^']* | 機密コンテンツの正規表現。 |
| ReplacingAll | bool | いいえ | true | true | 一致したすべての機密コンテンツを置き換えるかどうかを指定します。 |
拡張処理プラグイン
フィールドの抽出
正規表現モード
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_regex | プラグインのタイプ。値を processor_regex に設定します。 |
| SourceKey | string | はい | / | content | ソースフィールドの名前。 |
| Regex | string | はい | / | (\d+-\d+-\d+)\s+(.*) | 正規表現。抽出するフィールドを括弧 () でマークする必要があります。 |
| Keys | [string] | はい | / | ["ip", "time", "method"] | 抽出されたコンテンツのフィールド名を指定します。例:["ip", "time", "method"]。 |
| NoKeyError | boolean | いいえ | false | false | 指定したソースフィールドが元のログにない場合にシステムがエラーを報告するかどうかを指定します。
|
| NoMatchError | boolean | いいえ | false | false | 指定した正規表現がソースフィールドの値と一致しない場合にシステムがエラーを報告するかどうかを指定します。
|
| KeepSource | boolean | いいえ | false | false | 解析されたログにソースフィールドを保持するかどうかを指定します。
|
| FullMatch | boolean | いいえ | true | true | 完全に一致した場合にのみ抽出するかどうかを指定します。
|
| KeepSourceIfParseError | boolean | true | true | false | 解析に失敗した場合に、解析されたログにソースフィールドを保持するかどうかを指定します。
|
アンカーモード
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_anchor | プラグインのタイプ。値を processor_anchor に設定します。 |
| SourceKey | アンカー配列 | はい | / | content | ソースフィールドの名前。 |
| Anchors | string | はい | / | アンカー項目のリスト。 | |
| Start | String | はい | Empty | time | 開始キーワード。空の場合、文字列の先頭に一致します。 |
| Stop | String | はい | Empty | \t | 終了キーワード。空の場合、文字列の末尾に一致します。 |
| FieldName | String | はい | Empty | time | 抽出されたコンテンツのフィールド名を指定します。 |
| FieldType | String | はい | Empty | string | フィールドのタイプ。有効な値は string または json です。 |
| ExpondJson | boolean | いいえ | false | false | JSON 展開を実行するかどうかを指定します。
|
| ExpondConnecter | String | いいえ | _ | _ | JSON 展開のコネクタ。デフォルト値はアンダースコア (_) です。 |
| MaxExpondDepth | Int | いいえ | 0 | 0 | JSON 展開の最大深度。デフォルト値は 0 で、制限がないことを意味します。 |
| NoAnchorError | Boolean | いいえ | false | false | アンカー項目が見つからない場合にシステムがエラーを報告するかどうかを指定します。
|
| NoKeyError | Boolean | いいえ | false | false | 指定したソースフィールドが元のログにない場合にシステムがエラーを報告するかどうかを指定します。
|
| KeepSource | Boolean | いいえ | false | false | 解析されたログにソースフィールドを保持するかどうかを指定します。
|
CSV モード
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_csv | プラグインのタイプ。値を processor_csv に設定します。 |
| SourceKey | String | はい | / | csv | ソースフィールドの名前。 |
| SplitKeys | String array | はい | / | ["date", "ip", "content"] | 抽出されたコンテンツのフィールド名を指定します。例:["date", "ip", "content"]。 重要 分割するフィールドの数が SplitKeys パラメーターのフィールド数より少ない場合、SplitKeys パラメーターの余分なフィールドは無視されます。 |
| PreserveOthers | Boolean | いいえ | false | false | 分割するフィールドの数が SplitKeys パラメーターのフィールド数より多い場合に、余分な部分を保持するかどうかを指定します。
|
| ExpandOthers | Boolean | いいえ | false | false | 余分な部分を解析するかどうかを指定します。
|
| ExpandKeyPrefix | String | いいえ | 余分なフィールドの命名プレフィックス。たとえば、expand_ と設定した場合、フィールド名は expand_1、expand_2 となります。 | ||
| TrimLeadingSpace | Boolean | いいえ | false | false | フィールド値の先頭のスペースを無視するかどうかを指定します。
|
| SplitSep | String | いいえ | , | , | 区切り文字。デフォルト値はカンマ (,) です。 |
| KeepSource | Boolean | いいえ | false | false | 解析されたログにソースフィールドを保持するかどうかを指定します。
|
| NoKeyError | Boolean | いいえ | false | false | 指定したソースフィールドが元のログにない場合にシステムがエラーを報告するかどうかを指定します。
|
単一文字区切りモード
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_split_char | プラグインのタイプ。値を processor_split_char に設定します。 |
| SourceKey | String | はい | ソースフィールドの名前。 | ||
| SplitSep | String | はい | 区切り文字。単一の文字である必要があります。\u0001 などの非表示文字に設定できます。 | ||
| SplitKeys | String array | はい | ["ip", "time", "method"] | 抽出されたコンテンツのフィールド名を指定します。例:["ip", "time", "method"]。 | |
| PreserveOthers | Boolean | いいえ | false | false | 分割するフィールドの数が SplitKeys パラメーターのフィールド数より多い場合に、余分な部分を保持するかどうかを指定します。
|
| QuoteFlag | Boolean | いいえ | false | false | 引用符を使用するかどうかを指定します。
|
| Quote | String | いいえ | / | \u0001 | 引用符。単一の文字である必要があります。\u0001 などの非表示文字にできます。QuoteFlag が true に設定されている場合にのみ有効です。 |
| NoKeyError | Boolean | いいえ | false | false | 指定したソースフィールドが元のログにない場合にシステムがエラーを報告するかどうかを指定します。
|
| NoMatchError | Boolean | いいえ | false | false | 指定した区切り文字がログの区切り文字と一致しない場合にシステムがエラーを報告するかどうかを指定します。
|
| KeepSource | Boolean | いいえ | false | false | 解析されたログにソースフィールドを保持するかどうかを指定します。
|
複数文字区切りモード
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_split_string | プラグインのタイプ。値を processor_split_string に設定します。 |
| SourceKey | String | はい | ソースフィールドの名前。 | ||
| SplitSep | String | はい | 区切り文字。単一の文字である必要があります。\u0001\u0002 などの非表示文字に設定できます。 | ||
| SplitKeys | String array | はい | ["key1","key2"] | 抽出されたコンテンツのフィールド名を指定します。例:["key1","key2"]。注 分割するフィールドの数が SplitKeys パラメーターのフィールド数より少ない場合、SplitKeys パラメーターの余分なフィールドは無視されます。 | |
| PreserveOthers | Boolean | いいえ | false | false | 分割するフィールドの数が SplitKeys パラメーターのフィールド数より多い場合に、余分な部分を保持するかどうかを指定します。
|
| ExpandOthers | Boolean | いいえ | false | false | 引用符を使用するかどうかを指定します。
|
| ExpandKeyPrefix | String | いいえ | / | expand_ | 余分な部分の命名プレフィックス。たとえば、expand_ と設定した場合、フィールド名は expand_1、expand_2 となります。 |
| NoKeyError | Boolean | いいえ | false | false | 指定したソースフィールドが元のログにない場合にシステムがエラーを報告するかどうかを指定します。
|
| NoMatchError | Boolean | いいえ | false | false | 指定した区切り文字がログの区切り文字と一致しない場合にシステムがエラーを報告するかどうかを指定します。
|
| KeepSource | Boolean | いいえ | false | false | 解析されたログにソースフィールドを保持するかどうかを指定します。
|
キーと値のペアモード
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_split_key_value | プラグインのタイプ。値を processor_split_key_value に設定します。 |
| SourceKey | string | はい | ソースフィールドの名前。 | ||
| Delimiter | string | いいえ | \t | \t | キーと値のペア間の区切り文字。デフォルト値はタブ文字 \t です。 |
| Separator | string | いいえ | : | : | 単一のキーと値のペア内のキーと値の間の区切り文字。デフォルト値はコロン (:) です。 |
| KeepSource | Boolean | いいえ | false | false | 解析されたログにソースフィールドを保持するかどうかを指定します。
|
| ErrIfSourceKeyNotFound | Boolean | いいえ | true | false | 指定したソースフィールドが元のログにない場合にシステムがエラーを報告するかどうかを指定します。
|
| DiscardWhenSeparatorNotFound | Boolean | いいえ | false | false | 一致する区切り文字が見つからない場合にキーと値のペアを破棄するかどうかを指定します。
|
| ErrIfSeparatorNotFound | Boolean | いいえ | true | false | 指定した区切り文字が存在しない場合にシステムがエラーを報告するかどうかを指定します。
|
| ErrIfKeyIsEmpty | Boolean | いいえ | true | false | 分離後のキーが空の場合にシステムがエラーを報告するかどうかを指定します。
|
| Quote | String | いいえ | 引用符。設定すると、値が引用符で囲まれている場合、引用符内の値が抽出されます。複数文字の引用符がサポートされています。デフォルトでは、引用符機能は有効になっていません。 重要 * 引用符が二重引用符 ("") の場合、エスケープ文字であるバックスラッシュ (\) を追加する必要があります。引用符内で引用符と共にバックスラッシュ (\) が使用されると、バックスラッシュ (\) は値の一部として出力されます。 |
Grok モード
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_grok | プラグインのタイプ。値を processor_grok に設定します。 |
| CustomPatternDir | String array | いいえ | カスタム Grok パターンファイルが配置されているディレクトリ。processor_grok プラグインはディレクトリ内のすべてのファイルを読み取ります。このパラメーターを追加しない場合、カスタム Grok パターンファイルはインポートされません。 重要 カスタム Grok パターンファイルを更新した後、有効にするには Logtail を再起動する必要があります。 | ||
| CustomPatterns | Map | いいえ | カスタム GROK パターン。キーはルール名、値は Grok 式です。デフォルトでサポートされている式については、「processor_grok」をご参照ください。必要な式がリンクにない場合は、Match にカスタム Grok 式を入力します。このパラメーターを追加しない場合、カスタム GROK パターンは使用されません。 | ||
| SourceKey | String | いいえ | content | content | ソースフィールドの名前。デフォルト値は content フィールドです。 |
| Match | String array | はい | Grok 式の配列。processor_grok プラグインは、ここで設定された式のリストに対してログを上から下に照合し、最初に成功した照合の抽出結果を返します。 注 複数の Grok 式を設定すると、パフォーマンスに影響する可能性があります。5 つ以下を推奨します。 | ||
| TimeoutMilliSeconds | Long | いいえ | 0 | Grok 式でフィールドを抽出する最大試行時間 (ミリ秒)。このパラメーターを追加しないか、0 に設定した場合、タイムアウトがないことを意味します。 | |
| IgnoreParseFailure | Boolean | いいえ | true | true | 解析に失敗したログを無視するかどうかを指定します。
|
| KeepSource | Boolean | いいえ | true | true | 解析成功後にソースフィールドを保持するかどうかを指定します。
|
| NoKeyError | Boolean | いいえ | false | true | 指定したソースフィールドが元のログにない場合にシステムがエラーを報告するかどうかを指定します。
|
| NoMatchError | Boolean | いいえ | true | true | Match パラメーターで設定されたどの式もログに一致しない場合にシステムがエラーを報告するかどうかを指定します。
|
| TimeoutError | Boolean | いいえ | true | true | 一致タイムアウト時にシステムがエラーを報告するかどうかを指定します。
|
フィールドの追加
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_add_fields | プラグインのタイプ。値を processor_add_fields に設定します。 |
| Fields | Map | はい | 追加するフィールド名と値。キーと値のペア形式。複数追加をサポートします。 | ||
| IgnoreIfExist | Boolean | いいえ | false | false | 同じ名前のフィールドが存在する場合に重複フィールドを無視するかどうかを指定します。
|
フィールドの削除
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_drop | プラグインのタイプ。値を processor_drop に設定します。 |
| DropKeys | String array | はい | 削除するフィールドを指定します。複数設定できます。 |
フィールド名の変更
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_rename | プラグインのタイプ。値を processor_rename に設定します。 |
| NoKeyError | Boolean | いいえ | false | false | 指定したソースフィールドがログにない場合にシステムがエラーを報告するかどうかを指定します。
|
| SourceKeys | String array | はい | 名前を変更するソースフィールド。 | ||
| DestKeys | String array | はい | 名前変更後のフィールド。 |
フィールドのパック
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_packjson | プラグインのタイプ。値を processor_packjson に設定します。 |
| SourceKeys | String array | はい | パックするソースフィールド。 | ||
| DestKey | String | いいえ | パック後のフィールド。 | ||
| KeepSource | Boolean | いいえ | true | true | 解析されたログにソースフィールドを保持するかどうかを指定します。
|
| AlarmIfIncomplete | Boolean | いいえ | true | true | 指定したソースフィールドが元のログにない場合にシステムがエラーを報告するかどうかを指定します。
|
JSON フィールドの展開
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_json | プラグインのタイプ。値を processor_json に設定します。 |
| SourceKey | String | はい | 展開するソースフィールドの名前。 | ||
| NoKeyError | Boolean | いいえ | true | true | 指定したソースフィールドが元のログにない場合にシステムがエラーを報告するかどうかを指定します。
|
| ExpandDepth | Int | いいえ | 0 | 1 | JSON 展開の深度。デフォルト値は 0 で、制限がないことを意味します。1 は現在のレベルを示し、以下同様です。 |
| ExpandConnector | String | いいえ | _ | _ | JSON 展開のコネクタ。デフォルト値はアンダースコア (_) です。 |
| Prefix | String | いいえ | JSON 展開中にフィールド名に追加するプレフィックス。 | ||
| KeepSource | Boolean | いいえ | true | true | 解析されたログにソースフィールドを保持するかどうかを指定します。
|
| UseSourceKeyAsPrefix | Boolean | いいえ | 展開されたすべての JSON フィールド名のプレフィックスとしてソースフィールド名を使用するかどうかを指定します。 | ||
| KeepSourceIfParseError | Boolean | いいえ | true | true | 解析に失敗した場合にソースログを保持するかどうかを指定します。
|
| ExpandArray | Boolean | いいえ | false | false | 配列型を展開するかどうかを指定します。このパラメーターは Logtail 1.8.0 以降でサポートされています。
|
ログのフィルタリング
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_filter_regex | プラグインのタイプ。値を processor_filter_regex に設定します。 |
| Include | JSON Object | いいえ | キーはログフィールド、値はフィールド値が一致する必要がある正規表現です。キーと値のペアの関係は AND です。ログフィールドの値が対応する正規表現に一致する場合、ログは収集されます。 | ||
| Exclude | JSON Object | いいえ | キーはログフィールド、値はフィールド値が一致する必要がある正規表現です。キーと値のペアの関係は OR です。ログのいずれかのフィールドの値が対応する正規表現に一致する場合、ログは破棄されます。 |
ログ時間の抽出
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_gotime | プラグインのタイプ。値を processor_gotime に設定します。 |
| SourceKey | String | はい | ソースフィールドの名前。 | ||
| SourceFormat | String | はい | ソース時間のフォーマット。 | ||
| SourceLocation | Int | はい | ソース時間のタイムゾーン。パラメーター値が空の場合、Logtail が配置されているホストまたはコンテナーのタイムゾーンを示します。 | ||
| DestKey | String | はい | 解析後の宛先フィールド。 | ||
| DestFormat | String | はい | 解析後の時間フォーマット。 | ||
| DestLocation | Int | いいえ | 解析後のタイムゾーン。パラメーター値が空の場合、ローカルタイムゾーンを示します。 | ||
| SetTime | Boolean | いいえ | true | true | 解析された時間をログ時間として設定するかどうかを指定します。
|
| KeepSource | Boolean | いいえ | true | true | 解析されたログにソースフィールドを保持するかどうかを指定します。
|
| NoKeyError | Boolean | いいえ | true | true | 指定したソースフィールドが元のログにない場合にシステムがエラーを報告するかどうかを指定します。
|
| AlarmIfFail | Boolean | いいえ | true | true | ログ時間の抽出に失敗した場合にシステムがエラーを報告するかどうかを指定します。
|
IP アドレスの変換
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_geoip | プラグインのタイプ。値を processor_geoip に設定します。 |
| SourceKey | String | はい | IP アドレスを変換するソースフィールドの名前。 | ||
| DBPath | String | はい | /user/data/GeoLite2-City_20180102/GeoLite2-City.mmdb | GeoIP データベースの完全なパス。例:/user/data/GeoLite2-City_20180102/GeoLite2-City.mmdb。 | |
| NoKeyError | Boolean | いいえ | false | false | 指定したソースフィールド名が元のログにない場合にシステムがエラーを報告するかどうかを指定します。
|
| NoMatchError | Boolean | いいえ | true | true | IP アドレスが無効であるか、データベースに見つからない場合にシステムがエラーを報告するかどうかを指定します。
|
| KeepSource | Boolean | いいえ | true | true | 解析されたログにソースフィールドを保持するかどうかを指定します。
|
| Language | String | いいえ | zh-CN | zh-CN | 言語属性。デフォルト値は zh-CN です。 重要 GeoIP データベースに対応する言語が含まれていることを確認してください。 |
データマスキング
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_desensitize | プラグインのタイプ。値を processor_desensitize に設定します。 |
| SourceKey | String | はい | ログフィールドの名前。 | ||
| Method | String | はい | const | データマスキング方法。有効な値:
| |
| Match | String | いいえ | full | full | 機密コンテンツを抽出する方法を指定します。有効な値:
|
| ReplaceString | String | いいえ | 機密コンテンツを置き換えるために使用される文字列。Method が const に設定されている場合は必須です。 | ||
| RegexBegin | String | いいえ | 機密コンテンツのプレフィックスに一致する正規表現。Match が regex に設定されている場合は必須です。 | ||
| RegexContent | String | いいえ | 機密コンテンツに一致する正規表現。Match が regex に設定されている場合は必須です。 |
フィールド値のマッピング
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_dict_map | プラグインのタイプ。値を processor_dict_map に設定します。 |
| SourceKey | String | はい | ソースフィールドの名前。 | ||
| MapDict | Map | いいえ | マッピング辞書。マッピング辞書が小さい場合は、このパラメーターで直接設定できます。ローカルの CSV 辞書ファイルを提供する必要はありません。 重要 DictFilePath パラメーターを設定すると、MapDict パラメーターの構成は有効になりません。 | ||
| DictFilePath | String | いいえ | CSV 形式の辞書ファイル。この CSV ファイルの区切り文字はカンマ (,) で、フィールド参照は二重引用符 (") で示されます。 | ||
| DestKey | String | いいえ | マッピング後のフィールドの名前。 | ||
| HandleMissing | Boolean | いいえ | false | false | ターゲットフィールドが元のログにない場合にシステムが処理するかどうかを指定します。
|
| Missing | String | いいえ | Unknown | Unknown | 元のログにないターゲットフィールドを処理する際に、対応する埋め込み値を設定します。デフォルト値は Unknown です。このパラメーターは、HandleMissing が true に設定されている場合に有効になります。 |
| MaxDictSize | Int | いいえ | 1000 | 1000 | マッピング辞書の最大サイズ。デフォルト値は 1000 で、最大 1000 個のマッピングルールを保存できることを意味します。サーバー上のプラグインのメモリ使用量を制限するには、この値を減らすことができます。 |
| Mode | String | いいえ | overwrite | overwrite | マッピングされたフィールドが元のログに既に存在する場合の処理方法。
|
フィールドの暗号化
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_encrypt | プラグインのタイプ。値を processor_encrypt に設定します。 |
| SourceKey | String array | はい | ソースフィールドの名前。 | ||
| EncryptionParameters | Object | はい | キー関連の構成。 | ||
| Key | String | はい | キーを設定します。64 文字の 16 進数である必要があります。 | ||
| IV | String | いいえ | 00000000000000000000000000000000 | 暗号化の初期化ベクターを設定します。32 文字の 16 進数である必要があります。デフォルト値は 00000000000000000000000000000000 です。 | |
| KeyFilePath | Boolean | いいえ | 暗号化パラメーターを読み取るファイルパス。設定しない場合、Logtail 構成 - 入力構成 - ファイルパスから読み取ります。 | ||
| KeepSourceValueIfError | String | いいえ | false | false | 暗号化に失敗した場合にソースフィールドの値を保持するかどうかを指定します。
ENCRYPT_ERROR に置き換えられます。 |
文字列の置換
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_string_replace | プラグインのタイプ。値を processor_string_replace に設定します。 |
| SourceKey | String | はい | ソースフィールドの名前。 | ||
| Method | String | はい | 照合方法を指定します。有効な値:
| ||
| Match | String | いいえ | 照合するコンテンツを入力します。
| ||
| ReplaceString | String | いいえ | 置換用の文字列。デフォルト値は "" です。
| ||
| DestKey | String | いいえ | 置き換えられたコンテンツの新しいフィールドを指定します。デフォルトでは、新しいフィールドは追加されません。 |
データのエンコードとデコード
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_base64_encoding | プラグインのタイプ。値を processor_base64_encoding に設定します。 |
| SourceKey | String | はい | ソースフィールドの名前。 | ||
| NewKey | String | はい | エンコード後の結果フィールドの名前。 | ||
| NoKeyError | Boolean | いいえ | false | false | 指定したソースフィールドが元のログにない場合にシステムがエラーを報告するかどうかを指定します。
|
ログをメトリックに変換
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_log_to_sls_metric | プラグインのタイプ。値を processor_log_to_sls_metric に設定します。 |
| MetricTimeKey | String | いいえ | ログ内の時間フィールドを指定します。これは時系列データの __time_nano__ フィールドにマッピングされます。デフォルトでは、ログの __time__ フィールドの値が抽出されます。指定されたフィールドが有効で、適切にフォーマットされたタイムスタンプであることを確認してください。現在、秒 (10 桁)、ミリ秒 (13 桁)、マイクロ秒 (16 桁)、ナノ秒 (19 桁) の UNIX タイムスタンプをサポートしています。 | ||
| MetricLabelKeys | []String | はい | __labels__ フィールドのキーリストを指定します。キーは正規表現 ^[a-zA-Z_][a-zA-Z0-9_]*$ に従う必要があります。値には縦線 (|) または #$# を含めることはできません。詳細については、「時系列データ (メトリック)」をご参照ください。MetricLabelKeys パラメーターに __labels__ フィールドを追加することはサポートされていません。ソースフィールドに __labels__ フィールドが含まれている場合、その値は新しい __labels__ フィールドに追加されます。 | ||
| MetricValues | Map | はい | メトリック名とメトリック値を指定するために使用されます。メトリック名は __name__ フィールドに対応し、正規表現 ^[a-zA-Z_:][a-zA-Z0-9_:]*$ に従う必要があります。メトリック値は __value__ フィールドに対応し、Double 型である必要があります。 詳細については、「時系列データ (メトリック)」をご参照ください。 | ||
| CustomMetricLabels | Map | いいえ | カスタム __labels__ フィールド。キーは正規表現 ^[a-zA-Z_][a-zA-Z0-9_]*$ に従う必要があり、値には縦線 (|) または #$# を含めることはできません。詳細については、「時系列データ (メトリック)」をご参照ください。 | ||
| IgnoreError | Boolean | いいえ | 一致するログがない場合にエラーログを出力するかどうかを指定します。デフォルト値は false で、出力しないことを意味します。 |
ログをトレースに変換
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | processor_otel_trace | プラグインのタイプ。値を processor_otel_trace に設定します。 |
| SourceKey | String | はい | ソースフィールドの名前。 | ||
| Format | String | はい | json | 変換後のフォーマット。有効な値:protobuf、json、protojson。 | |
| NoKeyError | Boolean | いいえ | false | true | 対応するソースフィールドがログにない場合にエラーを報告するかどうかを指定します。デフォルト値は false です。 |
| TraceIDNeedDecode | Boolean | いいえ | TraceID に対して Base64 デコードを実行するかどうかを指定します。デフォルト値は false です。Format が protojson に設定されている場合、TraceID が Base64 エンコードされている場合は、TraceIDNeedDecode を true に設定する必要があります。そうしないと、変換は失敗します。 | ||
| SpanIDNeedDecode | Boolean | いいえ | SpanID に対して Base64 デコードを実行するかどうかを指定します。デフォルト値は false です。Format が protojson に設定されている場合、SpanID が Base64 エンコードされている場合は、SpanIDNeedDecode を true に設定する必要があります。そうしないと、変換は失敗します。 | ||
| ParentSpanIDNeedDecode | Boolean | いいえ | ParentSpanID に対して Base64 デコードを実行するかどうかを指定します。デフォルト値は false です。Format が protojson に設定されている場合、ParentSpanID が Base64 エンコードされている場合は、ParentSpanIDNeedDecode を true に設定する必要があります。そうしないと、変換は失敗します。 |
出力プラグイン
SLS 出力プラグイン
| パラメーター | タイプ | 必須 | デフォルト値 | 例 | 説明 |
| Type | string | はい | / | flusher_sls | プラグインのタイプ。値を flusher_sls に設定します。 |
| Logstore | stirng | はい | / | test-logstore | Logstore の名前。 |
レスポンスフィールド
|
フィールド |
型 |
説明 |
例 |
レスポンスフィールドがありません。
例
成功レスポンス
JSONJSON
{}
エラーコード
完全なリストについては、「エラーコード」をご参照ください。
変更履歴
完全なリストについては、「変更履歴」をご参照ください。