欄位處理類外掛程式 - Simple Log Service

欄位處理類外掛程式用於對欄位進行增刪改、打包、展開、提取等操作。

欄位處理效果樣本

表格展示該原始日誌在分別使用提取欄位外掛程式的標定模式與不使用外掛程式的情況下，儲存到Log Service後的資料結構。使用提取外掛程式能夠結構化資料，為後續查詢提供便利。

原始日誌

不使用欄位處理外掛程式

使用提取欄位外掛程式標定模式

"time:2022.09.12 20:55:36\t json:{\"key1\" : \"xx\", \"key2\": false, \"key3\":123.456, \"key4\" : { \"inner1\" : 1, \"inner2\" : false}}"

Content："time:2022.09.12 20:55:36\t json:{\"key1\" : \"xx\", \"key2\": false, \"key3\":123.456, \"key4\" : { \"inner1\" : 1, \"inner2\" : false}}"

使用標定模式提取欄位值，設定欄位名為time、val_key1、val_key2、val_key3、value_key4_inner1、value_key4_inner2。

"time" : "2022.09.12 20:55:36"
"val_key1" : "xx"
"val_key2" : "false"
"val_key3" : "123.456"
"value_key4_inner1" : "1"
"value_key4_inner2" : "false"

欄位處理外掛程式概覽

Log Service提供以下多種類型的欄位處理外掛程式，請按需要進行選擇。

外掛程式名稱	類型	功能說明
提取欄位	拓展	支援如下模式：正則模式：使用正則匹配提取欄位。標定模式：通過位置或標記提取欄位。 CSV模式：按CSV格式提取欄位。單字元分隔字元模式：使用單字元分隔字元提取欄位。多字元分隔字元模式：使用多字元分隔字元提取欄位。索引值對模式：從索引值對格式中提取欄位。 Grok模式：使用Grok文法提取結構化欄位。






添加欄位	拓展	向日誌中添加新欄位。
丟棄欄位	拓展	刪除指定欄位。
重新命名欄位	拓展	修改欄位名稱。
打包欄位	拓展	將多個欄位打包為一個JSON對象。
展開JSON欄位	拓展	將JSON字串欄位展開為獨立欄位。
欄位值對應	拓展	按映射表替換或轉換欄位值。
字串替換	拓展	實現文本日誌的全文替換、正則提取替換或去除轉義符。

功能入口

當您需要使用Logtail外掛程式處理日誌時，您可以在建立或修改Logtail配置時，添加外掛程式。具體操作，請參見原生與拓展處理外掛程式使用說明。

使用限制

文本日誌和容器標準輸出只支援表單配置方式，其餘輸入源只支援JSON配置方式。
使用正則模式提取，Regex有以下限制
Go語言的Regex引擎基於RE2實現，相比PCRE引擎存在以下限制：
- 命名分組文法差異
  Go使用(?P<name>...)文法，而非PCRE的(?<name>...)文法。
- 不支援的正則模式
  - 斷言：(?=...)、(?!...)、(?<=...)、(?<!...)。
  - 條件運算式：(?(condition)true|false)。
  - 遞迴匹配：(?R)、(?0)。
  - 子程式引用：(?&name)、(?P>name)。
  - 原子組：(?>...)。
建議使用Regex101等調試正則時，避免使用以上不支援的正則模式，否則外掛程式將無法處理。

提取欄位外掛程式

支援通過正則模式、標定模式、CSV模式、單字元分隔字元模式、多字元分隔字元模式、索引值對模式、Grok模式提取日誌欄位。

正則模式

通過Regex提取目標欄位。

表單配置方式

參數說明

配置處理器類型為提取欄位（正則模式），相關參數說明如下表所示。

參數	說明
原始欄位	原始欄位名。
Regex	Regex。您需要使用半形圓括弧`()`標註待提取的欄位。
結果欄位	為提取的內容指定欄位名。支援添加多個欄位名。
原始欄位缺失報錯	選中該選項後，如果原始日誌中無您所指定的原始欄位，系統將報錯。
正則不匹配報錯	選中該選項後，如果您所指定的Regex與原始欄位的值不匹配，系統將報錯。
保留原始欄位	選中該選項後，解析後的日誌中將保留原始欄位。
解析失敗保留原始欄位	選中該選項後，如果解析日誌失敗，解析後的日誌中將保留原始欄位。
正則完全符合	選中該選項後，您在結果欄位中設定的所有欄位通過指定的Regex都能與原始欄位的值匹配，欄位值才會被提取。

配置樣本

使用正則模式提取content欄位的值，並設定欄位名為ip、time、method、url、request_time、request_length、status、length、ref_url和browser。配置樣本如下：

原始日誌

"content" : "10.200.**.** - - [10/Aug/2022:14:57:51 +0800] \"POST /PutData?
Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature> HTTP/1.1\" 0.024 18204 200 37 \"-\" \"aliyun-sdk-java"

Logtail外掛程式處理配置

處理結果

"ip" : "10.200.**.**"
"time" : "10/Aug/2022:14:57:51"
"method" : "POST"
"url" : "/PutData?Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>"
"request_time" : "0.024"
"request_length" : "18204"
"status" : "200"
"length" : "27"
"ref_url" : "-"
"browser" : "aliyun-sdk-java"

JSON配置方式

參數說明

配置type為processor_regex，detail說明如下表所示。

參數	類型	是否必選	說明
SourceKey	String	是	原始欄位名。
Regex	String	是	Regex。您需要使用半形圓括弧`()`標註待提取的欄位。
Keys	String數組	是	為提取的內容指定欄位名，例如["ip", "time", "method"]。
NoKeyError	Boolean	否	原始日誌中無您所指定的原始欄位時，系統是否報錯。 true：報錯。 false（預設值）：不報錯。
NoMatchError	Boolean	否	您所指定的Regex與原始欄位的值不匹配時，系統是否報錯。 true（預設值）：報錯。 false：不報錯。
KeepSource	Boolean	否	解析後的日誌中是否保留原始欄位。 true：保留。 false（預設值）：不保留。
FullMatch	Boolean	否	是否完全符合才被提取。 true（預設值）：您在Keys參數中設定的所有欄位通過Regex參數中的Regex都能與原始欄位的值匹配，欄位值才會被提取。 false：部分欄位匹配也會進行提取。
KeepSourceIfParseError	Boolean	否	解析日誌失敗時，解析後的日誌中是否將保留原始欄位。 true（預設值）：保留。 false：不保留。

配置樣本

使用正則模式提取content欄位的值，並設定欄位名為ip、time、method、url、request_time、request_length、status、length、ref_url和browser。配置樣本如下：

原始日誌

"content" : "10.200.**.** - - [10/Aug/2022:14:57:51 +0800] \"POST /PutData?
Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature> HTTP/1.1\" 0.024 18204 200 37 \"-\" \"aliyun-sdk-java"

Logtail外掛程式處理配置

{
    "type" : "processor_regex",
    "detail" : {"SourceKey" : "content",
         "Regex" : "([\\d\\.]+) \\S+ \\S+ \\[(\\S+) \\S+\\] \"(\\w+) ([^\\\"]*)\" ([\\d\\.]+) (\\d+) (\\d+) (\\d+|-) \"([^\\\"]*)\" \"([^\\\"]*)\" (\\d+)",
         "Keys"   : ["ip", "time", "method", "url", "request_time", "request_length", "status", "length", "ref_url", "browser"],
         "NoKeyError" : true,
         "NoMatchError" : true,
         "KeepSource" : false
    }
}

處理結果

"ip" : "10.200.**.**"
"time" : "10/Aug/2022:14:57:51"
"method" : "POST"
"url" : "/PutData?Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>"
"request_time" : "0.024"
"request_length" : "18204"
"status" : "200"
"length" : "27"
"ref_url" : "-"
"browser" : "aliyun-sdk-java"

標定模式

通過標定起始和結束關鍵字進列欄位提取。如果是JSON類型的欄位，可以進行JSON展開。

表單配置方式

參數說明

配置處理器類型為提取欄位（標定模式），相關參數說明如下表所示。

參數	說明
原始欄位	原始欄位名。
標定項列表	標定項列表。
起始關鍵字	起始關鍵字。如果為空白，表示匹配字串開頭。
結束關鍵字	結束關鍵字。如果為空白，表示匹配字串結尾。
結果欄位	為提取的內容指定欄位名。
欄位類型	欄位的類型，取值為string或json。
JSON展開	是否進行JSON展開。
JSON展開串連符	JSON展開的串連符，預設值為底線（_）。
JSON展開最大深度	JSON展開最大深度。預設值為0，表示無限制。
原始欄位缺失報錯	選中該選項後，如果原始日誌中無您所指定的原始欄位，系統將報錯。
標定項缺失報錯	選中該選項後，如果原始日誌中無匹配的標定項，系統將報錯。
保留原始欄位	選中該選項後，解析後的日誌中將保留原始欄位。

配置樣本

使用標定模式提取content欄位的值，並設定欄位名為time、val_key1、val_key2、val_key3、value_key4_inner1、value_key4_inner2。配置樣本如下：

原始日誌

"content" : "time:2022.09.12 20:55:36\t json:{\"key1\" : \"xx\", \"key2\": false, \"key3\":123.456, \"key4\" : { \"inner1\" : 1, \"inner2\" : false}}"

Logtail外掛程式處理配置

處理結果

"time" : "2022.09.12 20:55:36"
"val_key1" : "xx"
"val_key2" : "false"
"val_key3" : "123.456"
"value_key4_inner1" : "1"
"value_key4_inner2" : "false"

JSON配置方式

參數說明

配置type為processor_anchor，detail說明如下表所示。

參數	類型	是否必選	說明
SourceKey	String	是	原始欄位名。
Anchors	Anchor數組	是	標定項列表。
Start	String	是	起始關鍵字。如果為空白，表示匹配字串開頭。
Stop	String	是	結束關鍵字。如果為空白，表示匹配字串結尾。
FieldName	String	是	為提取的內容指定欄位名。
FieldType	String	是	欄位的類型，取值為string或json。
ExpondJson	Boolean	否	是否進行JSON展開。 true：展開。 false（預設值）：不展開。僅當FieldType為json時生效。
ExpondConnecter	String	否	JSON展開的串連符。預設值為底線（_）。
MaxExpondDepth	Int	否	JSON展開最大深度。預設值為0，表示無限制。
NoAnchorError	Boolean	否	尋找不到標定項時，系統是否報錯。 true：報錯。 false（預設值）：不報錯。
NoKeyError	Boolean	否	原始日誌中無您所指定的原始欄位時，系統是否報錯。 true：報錯。 false（預設值）：不報錯。
KeepSource	Boolean	否	解析後的日誌中是否保留原始欄位。 true：保留。 false（預設值）：不保留。

配置樣本

使用標定模式提取content欄位的值，並設定欄位名為time、val_key1、val_key2、val_key3、value_key4_inner1、value_key4_inner2。配置樣本如下：

原始日誌

"content" : "time:2022.09.12 20:55:36\t json:{\"key1\" : \"xx\", \"key2\": false, \"key3\":123.456, \"key4\" : { \"inner1\" : 1, \"inner2\" : false}}"

Logtail外掛程式處理配置

{
   "type" : "processor_anchor",
   "detail" : {"SourceKey" : "content",
      "Anchors" : [
          {
              "Start" : "time",
              "Stop" : "\t",
              "FieldName" : "time",
              "FieldType" : "string",
              "ExpondJson" : false
          },
          {
              "Start" : "json:",
              "Stop" : "",
              "FieldName" : "val",
              "FieldType" : "json",
              "ExpondJson" : true 
          }
      ]
  }
}

處理結果

"time" : "2022.09.12 20:55:36"
"val_key1" : "xx"
"val_key2" : "false"
"val_key3" : "123.456"
"value_key4_inner1" : "1"
"value_key4_inner2" : "false"

CSV模式

通過CSV模式解析CSV格式的日誌。

表單配置方式

參數說明

配置處理器類型為提取欄位（CSV模式），相關參數說明如下表所示。

參數	說明
原始欄位	原始欄位名。
結果欄位	為提取的內容指定欄位名。支援添加多個欄位名。重要待分割的欄位數量小於結果欄位中的欄位數量時，結果欄位中多餘的欄位將被忽略。
分隔字元	分隔字元，預設值為半形逗號（,）。
保留超出部分	選中該選項後，如果待分割的欄位數量大於結果欄位中的欄位數量，系統將保留超出部分的內容。
解析超出部分	選中該選項後，系統將解析超出部分的內容，並且通過超出部分欄位首碼指定超過部分欄位的命名首碼。如果您選中保留超出部分，但未選中解析超出部分，則超出部分的內容將被儲存於_decode_preserve_欄位中。說明如果超出部分的內容中存在不規範內容時，您需要根據CSV格式對其進行正常化處理後，再進行儲存操作。
超出部分欄位首碼	超出部分的欄位命名首碼。例如設定為`expand_`，則欄位名為expand_1、expand_2。
忽略欄位前置空格	選中該選項後，系統將忽略欄位值中的前置空格。
保留原始欄位	選中該選項後，解析的日誌中將保留原始欄位。
原始欄位缺失報錯	選中該選項後，如果日誌中無您所指定的原始欄位，系統將報錯。

配置樣本

提取csv欄位的值，配置樣本如下：

原始日誌

{
    "csv": "2022-06-09,192.0.2.0,\"{\"\"key1\"\":\"\"value\"\",\"\"key2\"\":{\"\"key3\"\":\"\"string\"\"}}\"",
    ......
}

Logtail外掛程式處理配置

處理結果

{
    "date": "2022-06-09",
    "ip": "192.0.2.0",
    "content": "{\"key1\":\"value\",\"key2\":{\"key3\":\"string\"}}"
    ......

}

JSON配置方式

參數說明

配置type為processor_csv，detail說明如下表所示。

參數	類型	是否必選	說明
SourceKey	String	是	原始欄位名。
SplitKeys	String數組	是	為提取的內容指定欄位名，例如["date", "ip", "content"]。重要待分割的欄位數量小於SplitKeys參數中的欄位數量時，SplitKeys參數中多餘的欄位將被忽略。
PreserveOthers	Boolean	否	待分割的欄位數量大於SplitKeys參數中的欄位數量時，是否保留超出部分。 true：保留。 false（預設值）：不保留。
ExpandOthers	Boolean	否	是否解析超出部分。 true：解析。您可以通過ExpandOthers參數解析超出部分，然後通過ExpandKeyPrefix參數指定超過部分欄位的命名首碼。 false（預設值）：不解析。如果您設定PreserveOthers為true且設定ExpandOthers為false，則超出部分的內容將被儲存到_decode_preserve_欄位中。說明如果多餘的欄位內容中存在不規範內容時，您需要根據CSV格式對其進行正常化處理後，再進行儲存操作。
ExpandKeyPrefix	String	否	超出部分的欄位命名首碼。例如配置為`expand_`，則欄位名為expand_1、expand_2。
TrimLeadingSpace	Boolean	否	是否忽略欄位值中的前置空格。 true：忽略。 false（預設值）：不忽略。
SplitSep	String	否	分隔字元。預設值為半形逗號（,）。
KeepSource	Boolean	否	解析後的日誌中是否保留原始欄位。 true：保留。 false（預設值）：不保留。
NoKeyError	Boolean	否	原始日誌中無您指定的原始欄位時，系統是否報錯。 true：報錯。 false（預設值）：不報錯。

配置樣本

提取csv欄位的值，配置樣本如下：

原始日誌

{
    "csv": "2022-06-09,192.0.2.0,\"{\"\"key1\"\":\"\"value\"\",\"\"key2\"\":{\"\"key3\"\":\"\"string\"\"}}\"",
    ......
}

Logtail外掛程式處理配置

 {
    ......
    "type":"processor_csv",
    "detail":{
        "SourceKey":"csv",
        "SplitKeys":["date", "ip", "content"],
    }
    ......
}

處理結果

{
    "date": "2022-06-09",
    "ip": "192.0.2.0",
    "content": "{\"key1\":\"value\",\"key2\":{\"key3\":\"string\"}}"
    ......

}

單字元分隔字元模式

說明

通過單字元的分隔字元提取欄位。該方式支援使用引用符對分隔字元進行包裹。

表單配置方式

參數說明

配置處理器類型為提取欄位（單字元分隔字元模式），相關參數說明如下表所示。

參數	說明
原始欄位	原始欄位名。
分隔字元	分隔字元。必須為單字元，可設定為不可見字元，例如\u0001。
結果欄位	為提取的內容指定欄位名。
使用引用符	選中該選項後，您可以使用引用符。
引用符	引用符。必須為單字元，可以為不可見字元，例如\u0001。
原始欄位缺失報錯	選中該選項後，如果原始日誌中無您所指定的原始欄位，系統將報錯。
分隔字元不匹配報錯	選中該選項後，如果您所指定的分隔字元與原始日誌中的分隔字元不匹配，系統將報錯。
保留原始欄位	選中該選項後，解析後的日誌中將保留原始欄位。

樣本

使用豎線（|）分隔字元提取content欄位的值，並設定欄位名為ip、time、method、url、request_time、request_length、status、length、ref_url和browser。配置樣本如下：

原始日誌

"content" : "10.**.**.**|10/Aug/2022:14:57:51 +0800|POST|PutData?
Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>|0.024|18204|200|37|-|
aliyun-sdk-java"

Logtail處理外掛程式配置

處理結果

"ip" : "10.**.**.**"
"time" : "10/Aug/2022:14:57:51 +0800"
"method" : "POST"
"url" : "/PutData?Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>"
"request_time" : "0.024"
"request_length" : "18204"
"status" : "200"
"length" : "27"
"ref_url" : "-"
"browser" : "aliyun-sdk-java"

JSON配置方式

參數說明

配置type為processor_split_char，detail說明如下表所示。

參數	類型	是否必選	說明
SourceKey	String	是	原始欄位名。
SplitSep	String	是	分隔字元。必須為單字元，可設定為不可見字元，例如\u0001。
SplitKeys	String數組	是	為提取的內容指定欄位名，例如["ip", "time", "method"]。
PreserveOthers	Boolean	否	待分割的欄位數量大於SplitKeys參數中的欄位數量時，是否保留超出部分。 true：保留。 false（預設值）：不保留。
QuoteFlag	Boolean	否	是否使用引用符。 true：使用。 false（預設值）：不使用。
Quote	String	否	引用符。必須為單字元，可以為不可見字元，例如\u0001。僅當QuoteFlag配置為true時有效。
NoKeyError	Boolean	否	原始日誌中無您指定的原始欄位時，系統是否報錯。 true：報錯。 false（預設值）：不報錯。
NoMatchError	Boolean	否	您所指定的分隔字元與日誌中的分隔字元不匹配時，系統是否報錯。 true：報錯。 false（預設值）：不報錯。
KeepSource	Boolean	否	被解析後的日誌中是否保留原始欄位。 true：保留。 false（預設值）：不保留。

樣本

使用豎線（|）分隔字元提取content欄位的值，並設定欄位名為ip、time、method、url、request_time、request_length、status、length、ref_url和browser。配置樣本如下：

原始日誌

"content" : "10.**.**.**|10/Aug/2022:14:57:51 +0800|POST|PutData?
Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>|0.024|18204|200|37|-|
aliyun-sdk-java"

Logtail處理外掛程式配置

{
   "type" : "processor_split_char",
   "detail" : {"SourceKey" : "content",
      "SplitSep" : "|",
      "SplitKeys" : ["ip", "time", "method", "url", "request_time", "request_length", "status", "length", "ref_url", "browser"]     
  }
}

處理結果

"ip" : "10.**.**.**"
"time" : "10/Aug/2022:14:57:51 +0800"
"method" : "POST"
"url" : "/PutData?Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>"
"request_time" : "0.024"
"request_length" : "18204"
"status" : "200"
"length" : "27"
"ref_url" : "-"
"browser" : "aliyun-sdk-java"

多字元分隔字元模式

說明

通過多字元的分隔字元提取欄位，不支援指定引用符對分隔字元進行包裹。

表單配置方式

參數說明

配置處理器類型為提取欄位（多字元分隔字元模式），相關參數說明如下表所示。

參數	說明
原始欄位	原始欄位名。
分隔字串	分隔字元。您可設定不可見字元，例如\u0001\u0002。
結果欄位	為提取的日誌指定欄位名。重要待分割的欄位數量小於結果欄位中的欄位數量時，結果欄位中多餘的欄位將被忽略。
原始欄位缺失報錯	選中該選項後，如果日誌中無您指定的原始欄位，系統將報錯。
分隔字元不匹配報錯	選中該選項後，如果您所指定的分隔字元與日誌中的分隔字元不匹配，系統將報錯。
保留原始欄位	選中該選項後，解析後的日誌中將保留原始欄位。
保留超出部分	選中該選項後，如果待分割的欄位數量大於結果欄位中的欄位數量，系統將保留超出部分的內容。
解析超出部分	選中該選項後，如果待分割的欄位數量大於結果欄位中的欄位數量，系統將解析超出部分的內容，並且您可以通過超出部分欄位命名首碼指定超過部分欄位的命名首碼。
超出部分欄位命名首碼	超出部分的欄位命名首碼。例如配置為expand_，則欄位名為expand_1、expand_2。

配置樣本

使用分隔字元|#|提取content欄位的值，並設定欄位名為ip、time、method、url、request_time、request_length和status、expand_1、expand_2和expand_3。配置樣本如下：

原始日誌

"content" : "10.**.**.**|#|10/Aug/2022:14:57:51 +0800|#|POST|#|PutData?
Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>|#|0.024|#|18204|#|200|#|27|#|-|#|
aliyun-sdk-java"

Logtail外掛程式處理配置

處理結果

"ip" : "10.**.**.**"
"time" : "10/Aug/2022:14:57:51 +0800"
"method" : "POST"
"url" : "/PutData?Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>"
"request_time" : "0.024"
"request_length" : "18204"
"status" : "200"
"expand_1" : "27"
"expand_2" : "-"
"expand_3" : "aliyun-sdk-java"

JSON配置方式

參數說明

配置type為processor_split_string，detail說明如下表所示。

參數	類型	是否必選	說明
SourceKey	String	是	原始欄位名。
SplitSep	String	是	分隔字元。您可設定不可見字元，例如\u0001\u0002。
SplitKeys	String數組	是	為提取的日誌內容指定欄位名，例如["key1","key2"]。說明待分割的欄位數量小於SplitKeys參數中的欄位數量時，SplitKeys參數中多餘的欄位將被忽略。
PreserveOthers	Boolean	否	待分割的欄位數量大於SplitKeys參數中的欄位數量時，是否保留超出部分。 true：保留。 false（預設值）：不保留。
ExpandOthers	Boolean	否	待分割的欄位數量大於SplitKeys參數中的欄位數量時，是否解析超出部分。 true：解析。您可以通過ExpandOthers參數解析超出部分，然後通過ExpandKeyPrefix參數指定超過部分欄位的命名首碼。 false（預設值）：不解析。
ExpandKeyPrefix	String	否	超出部分的命名首碼。例如配置為expand_，則欄位名為expand_1、expand_2。
NoKeyError	Boolean	否	原始日誌中無您所指定的原始欄位時，系統是否報錯。 true：報錯。 false（預設值）：不報錯。
NoMatchError	Boolean	否	您所指定的分隔字元與日誌中的分隔字元不匹配時，系統是否報錯。 true：報錯。 false（預設值）：不報錯。
KeepSource	Boolean	否	解析後的日誌中是否保留原始欄位。 true：保留。 false（預設值）：不保留。

配置樣本

使用分隔字元|#|提取content欄位的值，並設定欄位名為ip、time、method、url、request_time、request_length和status、expand_1、expand_2和expand_3。配置樣本如下：

原始日誌

"content" : "10.**.**.**|#|10/Aug/2022:14:57:51 +0800|#|POST|#|PutData?
Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>|#|0.024|#|18204|#|200|#|27|#|-|#|
aliyun-sdk-java"

Logtail外掛程式處理配置

{
   "type" : "processor_split_string",
   "detail" : {"SourceKey" : "content",
      "SplitSep" : "|#|",
      "SplitKeys" : ["ip", "time", "method", "url", "request_time", "request_length", "status"],
      "PreserveOthers" : true,
      "ExpandOthers" : true,
      "ExpandKeyPrefix" : "expand_"
  }
}

處理結果

"ip" : "10.**.**.**"
"time" : "10/Aug/2022:14:57:51 +0800"
"method" : "POST"
"url" : "/PutData?Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>"
"request_time" : "0.024"
"request_length" : "18204"
"status" : "200"
"expand_1" : "27"
"expand_2" : "-"
"expand_3" : "aliyun-sdk-java"

索引值對模式

通過切分索引值對的方式提取欄位。

說明

Logtail 0.16.26及以上版本支援processor_split_key_value外掛程式。

表單配置方式

參數說明

配置處理器類型為提取欄位（索引值對模式），相關參數說明如下表所示。

參數	說明
原始欄位	原始欄位名。
索引值對分隔字元	索引值對之間的分隔字元，預設值為定位字元`\t`。
鍵與值分隔字元	單個索引值對中鍵與值之間的分隔字元，預設值為半形冒號（:）。
保留原始欄位	選中該選項後，系統將保留原始欄位。
原始欄位缺失報錯	選中該選項後，如果日誌中無您指定的原始欄位，系統將報錯。
丟棄分隔字元匹配失敗索引值對	選中該選項後，如果您所指定分隔字元與日誌中的分隔字元不匹配，系統將丟棄該索引值對。
鍵與值分隔字元缺失報錯	選中該選項後，如果日誌中無您指定的分隔字元，系統將報錯。
鍵為空白報錯	選中該選項後，如果分隔後的鍵為空白，系統將報錯。
引用符	如果值被引用符包裹，則將提取引用符內的值，支援設定多字元。重要當引用符內包含反斜線（\）與引用符連用時，該反斜線（\）將作為值的一部分輸出。

配置樣本
- 樣本1：切換鍵值對。
  按照索引值對方式分割content欄位的值。其中，索引值對間分隔字元為定位字元\t，索引值對中的分隔字元為半形冒號（:）。配置樣本如下：
  - 原始日誌
```
"content": "class:main\tuserid:123456\tmethod:get\tmessage:\"wrong user\""
```
  - Logtail外掛程式處理配置
  - 處理結果
```
"content": "class:main\tuserid:123456\tmethod:get\tmessage:\"wrong user\""
"class": "main"
"userid": "123456"
"method": "get"
"message": "\"wrong user\""
```
- 樣本2：包含引用符的索引值對切分。
  按照索引值對方式分割content欄位的值。其中，索引值對間分隔字元為定位字元\t，索引值對中的分隔字元為半形冒號（:），引用符為雙引號（"）。配置樣本如下：
  - 原始日誌
```
"content": "class:main http_user_agent:\"User Agent\" \"中文\" \"hello\\t\\\"ilogtail\\\"\\tworld\""
```
  - Logtail外掛程式處理配置
  - 處理結果
```
"class": "main",
"http_user_agent": "User Agent",
"no_separator_key_0": "中文",
"no_separator_key_1": "hello\t\"ilogtail\"\tworld",
```
- 樣本3：包含多字元引用符的索引值對切分。
  按照索引值對方式分割content欄位的值。其中，索引值對間分隔字元為定位字元\t，索引值對中的分隔字元為半形冒號（:），引用符為雙引號（""）。配置樣本如下：
  - 原始日誌
```
"content": "class:main http_user_agent:\"\"\"User Agent\"\"\" \"\"\"中文\"\"\""
```
  - Logtail外掛程式處理配置
  - 處理結果
```
"class": "main",
"http_user_agent": "User Agent",
"no_separator_key_0": "中文",
```

JSON配置方式

參數說明

配置type為processor_split_key_value，detail說明如下表所示。

參數	類型	是否必選	說明
SourceKey	string	是	原始欄位名。
Delimiter	string	否	索引值對之間的分隔字元，預設值為定位字元`\t`。
Separator	string	否	單個索引值對中鍵與值之間的分隔字元，預設值為半形冒號（:）。
KeepSource	Boolean	否	解析後的日誌中是否保留原始欄位。 true：保留。 false（預設值）：不保留。
ErrIfSourceKeyNotFound	Boolean	否	原始日誌中無您所指定的原始欄位時，系統是否報錯。 true（預設值）：報錯。 false：不報錯。
DiscardWhenSeparatorNotFound	Boolean	否	無匹配的分隔字元時是否丟棄該索引值對。 true：丟棄。 false（預設值）：不丟棄。
ErrIfSeparatorNotFound	Boolean	否	當指定的分隔字元不存在時，系統是否報錯。 true（預設值）：報錯。 false：不報錯。
ErrIfKeyIsEmpty	Boolean	否	當分隔後的鍵為空白時，系統是否報錯。 true（預設值）：報錯。 false：不報錯。
Quote	String	否	引用符，當設定後若值被引用符包含，就提取引用符內的值，支援多字元。預設不開啟引用符功能。重要如果引用符為雙引號（""），需要添加轉義符，即添加反斜線（\）。當引用符內包含反斜線（\）與引用符連用時，該反斜線（\）將作為值的一部分輸出。

配置樣本

樣本1：切分索引值對。

按照索引值對方式分割content欄位的值。其中，索引值對間分隔字元為定位字元\t，索引值對中的分隔字元為半形冒號（:）。配置樣本如下：

原始日誌

"content": "class:main\tuserid:123456\tmethod:get\tmessage:\"wrong user\""

Logtail外掛程式處理配置

{
  "processors":[
    {
      "type":"processor_split_key_value",
      "detail": {
        "SourceKey": "content",
        "Delimiter": "\t",
        "Separator": ":",
        "KeepSource": true
      }
    }
  ]
}

處理結果

"content": "class:main\tuserid:123456\tmethod:get\tmessage:\"wrong user\""
"class": "main"
"userid": "123456"
"method": "get"
"message": "\"wrong user\""

樣本2：切分索引值對。

按照索引值對方式分割content欄位的值。其中，索引值對間分隔字元為定位字元\t，索引值對中的分隔字元為半形冒號（:），引用符為雙引號（"）。配置樣本如下：

原始日誌

"content": "class:main http_user_agent:\"User Agent\" \"中文\" \"hello\\t\\\"ilogtail\\\"\\tworld\""

Logtail外掛程式處理配置

{
  "processors":[
    {
      "type":"processor_split_key_value",
      "detail": {
        "SourceKey": "content",
        "Delimiter": " ",
        "Separator": ":",
        "Quote": "\""
      }
    }
  ]
}

處理結果

"class": "main",
"http_user_agent": "User Agent",
"no_separator_key_0": "中文",
"no_separator_key_1": "hello\t\"ilogtail\"\tworld",

樣本3：切分索引值對。

按照索引值對方式分割content欄位的值。其中，索引值對間分隔字元為定位字元\t，索引值對中的分隔字元為半形冒號（:），引用符為雙引號（"""）。配置樣本如下：

原始日誌

"content": "class:main http_user_agent:\"\"\"User Agent\"\"\" \"\"\"中文\"\"\""

Logtail外掛程式處理配置

{
  "processors":[
    {
      "type":"processor_split_key_value",
      "detail": {
        "SourceKey": "content",
        "Delimiter": " ",
        "Separator": ":",
        "Quote": "\"\"\""
      }
    }
  ]
}

處理結果

"class": "main",
"http_user_agent": "User Agent",
"no_separator_key_0": "中文",

Grok模式

通過Grok運算式提取目標欄位。

說明

Logtail 1.2.0及以上版本支援processor_grok外掛程式。

表單配置方式

參數說明

配置處理器類型為提取欄位（GROK模式），相關參數說明如下表所示。

參數	說明
原始欄位	原始欄位名。
匹配目標	Grok運算式數組。processor_grok外掛程式會根據此處配置的運算式列表從上至下依次對日誌進行匹配，並返回第一條匹配成功的提取結果。預設支援的運算式，請參見processor_grok。如果連結中無您需要的運算式，請在自訂Grok模式中輸入自訂的Grok運算式。說明配置多條Grok運算式，可能影響效能。建議不超過5條。
自訂Grok模式	輸入自訂的規則名和Grok運算式。
自訂Grok模式檔案目錄	自訂的Grok模式檔案所在的目錄。processor_grok外掛程式會讀取目錄內的所有檔案。重要更新自訂的Grok模式檔案後，需重啟Logtail才會生效。
最長相符時間	通過Grok運算式提取欄位的最大嘗試時間，單位：毫秒。設定為0或者留空時，表示不會逾時。
保留解析失敗日誌	選中該選項後，如果解析失敗，系統將保留該日誌。
保留原始欄位	選中該選項後，解析後的日誌中將保留原始欄位。
原始欄位缺失報錯	選中該選項後，如果原始日誌中無您所指定的原始欄位，系統將報錯。
匹配目標全不匹配報錯	選中該選項後，如果匹配目標中設定的運算式全部與日誌不匹配，系統將報錯。
匹配逾時報錯	選中該選項後，如果匹配逾時，系統將報錯。

配置樣本
使用Grok模式提取content欄位的值，並為提取的內容指定欄位名為year、month和day。配置樣本如下：
- 原始日誌
```
"content" : "2022 October 17"
```
- Logtail外掛程式處理配置
- 處理結果
```
"year":"2022"
"month":"October"
"day":"17"
```

JSON配置方式

參數說明

配置type為processor_grok，detail說明如下表所示。

參數	類型	是否必選	說明
CustomPatternDir	String數組	否	自訂的Grok模式檔案所在的目錄。processor_grok外掛程式會讀取目錄內的所有檔案。未添加該參數時，表示不匯入自訂的Grok模式檔案。重要更新自訂的Grok模式檔案後，需重啟Logtail才會生效。
CustomPatterns	Map	否	自訂的GROK模式，key為規則名，value為Grok運算式。預設支援的運算式，請參見processor_grok。如果連結中無您需要的運算式，請在Match中輸入自訂的Grok運算式。未添加該參數時，表示不使用自訂的GROK模式。
SourceKey	String	否	原始欄位名。預設值為content欄位。
Match	String數組	是	Grok運算式數組。processor_grok外掛程式會根據此處配置的運算式列表從上至下依次對日誌進行匹配，並返回第一條匹配成功的提取結果。說明配置多條Grok運算式，可能影響效能。建議不超過5條。
TimeoutMilliSeconds	Long	否	通過Grok運算式提取欄位的最大嘗試時間，單位：毫秒。未添加該參數或設定為0時，表示不會逾時。
IgnoreParseFailure	Boolean	否	是否忽略解析失敗的日誌。 true（預設值）：忽略。 false：刪除。
KeepSource	Boolean	否	是否在解析成功後保留原始欄位。 true（預設值）：保留。 false：丟棄。
NoKeyError	Boolean	否	原始日誌中無您所指定的原始欄位時，系統是否報錯。 true：報錯。 false（預設值）：不報錯。
NoMatchError	Boolean	否	Match參數中設定的運算式全部與日誌不匹配時，系統是否報錯。 true（預設值）：報錯。 false：不報錯。
TimeoutError	Boolean	否	匹配逾時，系統是否報錯。 true（預設值）：報錯。 false：不報錯。

樣本一

使用Grok模式提取content欄位的值，並為提取的內容指定欄位名為year、month和day。配置樣本如下：

原始日誌
```
"content" : "2022 October 17"
```

Logtail外掛程式處理配置

{
   "type" : "processor_grok",
   "detail" : {
      "KeepSource" : false,
      "Match" : [
         "%{YEAR:year} %{MONTH:month} %{MONTHDAY:day}"
      ],
      "IgnoreParseFailure" : false
   }
}

處理結果

"year":"2022"
"month":"October"
"day":"17"

樣本二
使用Grok模式提取多條日誌中content欄位的值，並根據不同的Grok運算式解析為不同結果。配置樣本如下：
- 原始日誌
```
{
    "content" : "begin 123.456 end"
}
{
    "content" : "2019 June 24 \"I am iron man"\"
}
{
    "content" : "WRONG LOG"
}
{
    "content" : "10.0.0.0 GET /index.html 15824 0.043"
}
```
- Logtail外掛程式處理配置
```
{
        "type" : "processor_grok",
        "detail" : {
                "CustomPatterns" : {
                        "HTTP" : "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}"
                },
                "IgnoreParseFailure" : false,
                "KeepSource" : false,
                "Match" : [
                        "%{HTTP}",
                        "%{WORD:word1} %{NUMBER:request_time} %{WORD:word2}",
                        "%{YEAR:year} %{MONTH:month} %{MONTHDAY:day} %{QUOTEDSTRING:motto}"
                ],
                "SourceKey" : "content"
        },
}
```
- 處理結果
  - 針對第一條日誌，processor_grok外掛程式使用Match參數中的第一個運算式%{HTTP}匹配失敗，使用第二個運算式%{WORD:word1} %{NUMBER:request_time} %{WORD:word2}匹配成功，因此根據第二個運算式返回提取結果。
    由於設定KeepSource參數為false，因此原日誌中的content欄位被丟棄。
  - 針對第二條日誌，processor_grok外掛程式使用Match參數中的第一個運算式%{HTTP}和第二個運算式%{WORD:word1} %{NUMBER:request_time} %{WORD:word2}匹配失敗，使用第三個運算式%{YEAR:year} %{MONTH:month} %{MONTHDAY:day} %{QUOTEDSTRING:motto}匹配成功，因此根據第三個運算式返回提取結果。
  - 針對第三條日誌，processor_grok外掛程式使用Match參數中的三個運算式均匹配失敗，且您設定了IgnoreParseFailure參數為false，因此第三條日誌被丟棄。
  - 針對第四條日誌，processor_grok外掛程式使用Match參數中的第一個運算式%{HTTP}匹配日誌成功，因此根據第一個運算式返回提取結果。
```
{
  "word1":"begin",
  "request_time":"123.456",
  "word2":"end",
}
{
  "year":"2019",
  "month":"June",
  "day":"24",
  "motto":"\"I am iron man"\",
}
{
  "client":"10.0.0.0",
  "method":"GET",
  "request":"/index.html",
  "bytes":"15824",
  "duration":"0.043",
}
```

添加欄位外掛程式

使用processor_add_fields外掛程式添加日誌欄位。此處介紹processor_add_fields外掛程式的參數說明和配置樣本。

配置說明

重要

Logtail 0.16.28及以上版本支援processor_add_fields外掛程式。

表單配置方式

參數說明
配置處理器類型為添加欄位，相關參數說明如下表所示。
參數
說明
添加欄位
待添加的欄位名和欄位值，支援添加多個。
忽略重複欄位
存在相同的欄位名時，是否忽略重複的欄位。
配置樣本
添加aaa2欄位和aaa3欄位，配置樣本如下：
- 原始日誌
```
"aaa1":"value1"
```
- Logtail外掛程式處理配置
- 處理結果
```
"aaa1":"value1"
"aaa2":"value2"
"aaa3":"value3"
```

JSON配置方式

參數說明

配置type為processor_add_fields，detail說明如下表所示。

參數

類型

是否必選

說明

Fields

Map

是

待添加的欄位名和欄位值。索引值對格式，支援添加多個。

IgnoreIfExist

Boolean

否

存在相同的欄位名時，是否忽略重複的欄位。

true：忽略。
false（預設值）：不忽略。

配置樣本

添加aaa2欄位和aaa3欄位，配置樣本如下：

原始日誌
```
"aaa1":"value1"
```

Logtail外掛程式處理配置

{
  "processors":[
    {
      "type":"processor_add_fields",
      "detail": {
        "Fields": {
          "aaa2": "value2",
          "aaa3": "value3"
        }
      }
    }
  ]
}

處理結果

"aaa1":"value1"
"aaa2":"value2"
"aaa3":"value3"

丟棄欄位外掛程式

使用processor_drop外掛程式丟棄日誌欄位。此處介紹processor_drop外掛程式的參數說明和配置樣本。

配置說明

重要

Logtail 0.16.28及以上版本支援processor_drop外掛程式。

表單配置方式

參數說明
配置處理器類型為丟棄欄位，相關參數說明如下表所示。
參數
說明
丟棄欄位
指定待丟棄的欄位，支援配置多個。
配置樣本
丟棄日誌中的aaa1欄位和aaa2欄位，配置樣本如下：
- 原始日誌
```
"aaa1":"value1"
"aaa2":"value2"
"aaa3":"value3"
```
- Logtail外掛程式處理配置
- 處理結果
```
"aaa3":"value3"
```

JSON配置方式

參數說明
配置type為processor_drop，detail說明如下表所示。
參數
類型
是否必選
說明
DropKeys
String數組
是
指定待丟棄的欄位，支援配置多個。

配置樣本

丟棄日誌中的aaa1欄位和aaa2欄位，配置樣本如下：

原始日誌

"aaa1":"value1"
"aaa2":"value2"
"aaa3":"value3"

Logtail外掛程式處理配置

{
  "processors":[
    {
      "type":"processor_drop",
      "detail": {
        "DropKeys": ["aaa1","aaa2"]
      }
    }
  ]
}

處理結果
```
"aaa3":"value3"
```

重新命名欄位外掛程式

使用processor_rename外掛程式重新命名欄位。此處介紹processor_rename外掛程式的參數說明和配置樣本。

配置說明

重要

Logtail 0.16.28及以上版本支援processor_rename外掛程式。

表單配置方式

參數配置

配置處理外掛程式類型為重新命名欄位，相關參數說明如下表所示。

參數	說明
原始欄位	待重新命名的原始欄位。
結果欄位	重新命名後的欄位。
原始欄位缺失報錯	選中該選項後，如果日誌中無您所指定的原始欄位，系統將報錯。

配置樣本
將aaa1欄位重新命名為bbb1，將aaa2欄位重新命名bbb2，配置樣本如下：
- 原始日誌
```
"aaa1":"value1"
"aaa2":"value2"
"aaa3":"value3"
```
- Logtail外掛程式處理配置
- 處理結果
```
"bbb1":"value1"
"bbb2":"value2"
"aaa3":"value3"
```

JSON配置方式

參數配置

配置type為processor_rename，detail說明如下表所示。

參數	類型	是否必選	說明
`NoKeyError`	Boolean	否	日誌中無您所指定的原始欄位時，系統是否報錯。 true：報錯。 false（預設值）：不報錯。
`SourceKeys`	String數組	是	待重新命名的原始欄位。
`DestKeys`	String數組	是	重新命名後的欄位。

配置樣本

將aaa1欄位重新命名為bbb1，將aaa2欄位重新命名bbb2，配置樣本如下：

原始日誌

"aaa1":"value1"
"aaa2":"value2"
"aaa3":"value3"

Logtail外掛程式處理配置

{
  "processors":[
    {
      "type":"processor_rename",
      "detail": {
        "SourceKeys": ["aaa1","aaa2"],
        "DestKeys": ["bbb1","bbb2"],
        "NoKeyError": true
      }
    }
  ]
}

處理結果

"bbb1":"value1"
"bbb2":"value2"
"aaa3":"value3"

打包欄位外掛程式

使用processor_packjson外掛程式將一個或多個欄位打包為JSON Object格式的欄位。此處介紹processor_packjson外掛程式的參數說明和配置樣本。

配置說明

重要

Logtail 0.16.28及以上版本支援processor_packjson外掛程式。

表單配置方式

參數說明

配置處理器類型為打包欄位，相關參數說明如下表所示。

參數	說明
原始欄位	待打包的原始欄位。
結果欄位	打包後的欄位。
保留原始欄位	選中該選項後，解析後的日誌中將保留原始欄位。
原始欄位缺失報錯	選中該選項後，如果原始日誌中無您指定的原始欄位，系統將報錯。

配置樣本
將指定的a欄位和b欄位打包成JSON欄位d_key，配置樣本如下：
- 原始日誌
```
"a":"1"
"b":"2"
```
- Logtail外掛程式處理配置
- 處理結果
```
"a":"1"
"b":"2"
"d_key":"{\"a\":\"1\",\"b\":\"2\"}"
```

JSON配置方式

參數說明

配置type為processor_packjson，detail說明如下表所示。

參數	類型	是否必選	說明
SourceKeys	String數組	是	待打包的原始欄位。
DestKey	String	否	打包後的欄位。
KeepSource	Boolean	否	解析後的日誌中是否保留原始欄位。 true（預設值）：保留。 false：不保留。
AlarmIfIncomplete	Boolean	否	原始日誌中無您所指定的原始欄位時，系統是否報錯。 true（預設值）：報錯。 false：不報錯。

配置樣本

將指定的a欄位和b欄位打包成JSON欄位d_key，配置樣本如下：

原始日誌
```
"a":"1"
"b":"2"
```

Logtail外掛程式處理配置

{
  "processors":[
    {
      "type":"processor_packjson",
      "detail": {
        "SourceKeys": ["a","b"],
        "DestKey":"d_key",
        "KeepSource":true,
        "AlarmIfEmpty":true
      }
    }
  ]
}

處理結果

"a":"1"
"b":"2"
"d_key":"{\"a\":\"1\",\"b\":\"2\"}"

展開JSON欄位外掛程式

使用processor_json外掛程式展開JSON欄位。此處介紹processor_json外掛程式的參數說明和配置樣本。

配置說明

重要

Logtail 0.16.28及以上版本支援processor_json外掛程式。

表單配置方式

參數說明

配置處理器類型為展開JSON欄位，相關參數說明如下表所示。

參數	說明
原始欄位	待展開的原始欄位名。
JSON展開深度	JSON展開的深度。預設值為0，表示不限制。1表示當前層級，以此類推。
JSON展開串連符	JSON展開時的串連符，預設值為底線（_）。
JSON展開欄位首碼	JSON展開時，對欄位名附加的首碼。
展開數組	是否展開數群組類型。Logtail 1.8.0及以上版本支援該參數。
保留原始欄位	選中該選項後，被解析後的日誌中將保留原始欄位。
原始欄位缺失報錯	選中該選項後，如果原始日誌中無您所指定的原始欄位，系統將報錯。
將原始欄位名作為展開欄位名首碼	選中該選項後，系統會將原始欄位名作為所有JSON展開欄位名的首碼。
解析失敗保留原始日誌	選中該選項後，如果解析日誌失敗，系統將保留原始日誌。

配置樣本
對s_key欄位進行JSON展開，並使用j作為首碼，和原始欄位名s_key作為JSON展開後欄位名。配置樣本如下：
- 原始日誌（Logtail讀取的檔案路徑）
```
{"s_key":"{\"k1\":{\"k2\":{\"k3\":{\"k4\":{\"k51\":\"51\",\"k52\":\"52\"},\"k41\":\"41\"}}}}"}
```
- Logtail外掛程式處理配置
- 處理結果

JSON配置方式

參數說明

配置type為processor_json，detail說明如下表所示。

參數	類型	是否必選	說明
SourceKey	String	是	待展開的原始欄位名。
NoKeyError	Boolean	否	原始日誌中無您所指定的原始欄位時，系統是否報錯。 true（預設值）：報錯。 false：不報錯。
ExpandDepth	Int	否	JSON展開的深度。預設值為0，表示不限制。1表示當前層級，以此類推。
ExpandConnector	String	否	JSON展開時的串連符，預設值為底線（_）。
Prefix	String	否	JSON展開時，對欄位名附加的首碼。
KeepSource	Boolean	否	被解析後的日誌中是否保留原始欄位。 true（預設值）：保留。 false：不保留。
UseSourceKeyAsPrefix	Boolean	否	是否將原始欄位名作為所有JSON展開欄位名的首碼。
KeepSourceIfParseError	Boolean	否	解析日誌失敗時，是否保留原始日誌。 true（預設值）：保留。 false：不保留。
ExpandArray	Boolean	否	是否展開數群組類型。Logtail 1.8.0及以上版本支援該參數。 false（預設值）：不展開。 true：展開。例如`{"k":["1","2"]}`展開為`{"k[0]":"1","k[1]":"2"}`。

配置樣本

對s_key欄位進行JSON展開，並使用j作為首碼，和原始欄位名s_key作為JSON展開後欄位名。配置樣本如下：

原始日誌（Logtail讀取的檔案路徑）

{"s_key":"{\"k1\":{\"k2\":{\"k3\":{\"k4\":{\"k51\":\"51\",\"k52\":\"52\"},\"k41\":\"41\"}}}}"}

Logtail外掛程式處理配置

{
  "processors":[
    {
      "type":"processor_json",
      "detail": {
        "SourceKey": "content",
        "NoKeyError":true,
        "ExpandDepth":0,
        "ExpandConnector":"-",
        "Prefix":"j",
        "KeepSource": false,
        "UseSourceKeyAsPrefix": true
      }
    }
  ]
}

處理結果

欄位值對應外掛程式

使用processor_dict_map外掛程式進列欄位值對應。此處介紹processor_dict_map外掛程式的參數說明和配置樣本。

配置說明

表單配置方式

配置處理器類型為欄位值對應處理，相關參數說明如下表所示。

參數	說明
原始欄位	原始欄位名。
結果欄位	映射後的結果欄位名。
映射字典	映射字典。設定鍵和值，將鍵映射到值上。映射字典較小時，可直接通過此參數完成設定。不需要提供本地的CSV字典檔案。重要當您設定了本地字典後，映射字典配置不生效。
本地字典	CSV格式的字典檔案。該CSV檔案的分隔字元為半形逗號（,），欄位參考資料表示為半形引號（"）。
進階參數>處理原始欄位缺失	選中該選項後，當原始日誌中缺失目標欄位時，將處理缺失欄位，即按照結果欄位填儲值中的值進行填充。
進階參數>映射字典最大大小	映射字典的最大大小。預設值為1000，即最多可儲存1000條映射規則。如果要限制外掛程式對伺服器記憶體的佔用，可調小該值。
進階參數>原Tlog方法	當映射後的欄位在原始日誌中已存在時的處理方式。覆寫原欄位。不覆寫原欄位。

JSON配置方式

配置type為processor_dict_map，detail說明如下表所示。

參數	類型	是否必選	說明
SourceKey	String	是	原始欄位名。
MapDict	Map	否	映射字典。映射字典較小時，可直接通過此參數完成設定。不需要提供本地的CSV字典檔案。重要當您設定了DictFilePath參數後，MapDict參數中的配置不生效。
DictFilePath	String	否	CSV格式的字典檔案。該CSV檔案的分隔字元為半形逗號（,），欄位參考資料表示為半形引號（"）。
DestKey	String	否	映射後的欄位名。
HandleMissing	Boolean	否	當原始日誌中缺失目標欄位時，系統是否處理。 true：處理。系統將按照Missing參數中的值進行填充。 false（預設值）：不處理。
Missing	String	否	處理原始日誌中缺失的目標欄位時，設定對應的填儲值。預設值為`Unknown`。當配置HandleMissing為true時，該參數配置生效。
MaxDictSize	Int	否	映射字典的最大大小。預設值為1000，即最多可儲存1000條映射規則。如果要限制外掛程式對伺服器記憶體的佔用，可調小該值。
Mode	String	否	當映射後的欄位在原始日誌中已存在時的處理方式。 overwrite（預設值）：覆寫原欄位。 fill：不覆寫原欄位。

字串替換

使用processor_string_replace外掛程式，實現文本日誌的全文替換、正則提取替換或去除轉義符。

配置說明

重要

Logtail 1.6.0及以上版本支援processor_string_replace外掛程式。

表單配置方式

配置處理器類型為字串替換，相關參數說明如下表所示。

參數	說明
原始欄位	原始欄位名。
匹配方式	指定匹配方式。可選值：字串匹配：通過字串替換目標內容。正則匹配：通過Regex替換目標內容。去除轉義符：去除轉義符。
匹配內容	輸入匹配的內容。設定匹配方式為字串匹配時，輸入與待替換內容匹配的字串。當多個字串都匹配時，全部替換。設定匹配方式為Regex匹配時，輸入與待替換內容匹配的Regex。當多個字串都匹配時，全部替換。您也可以用正則分組方式匹配指定的分組。設定匹配方式為去除轉義符時，無需配置該參數。
替換內容	用於替換的字串。設定匹配方式為字串匹配時，輸入用於替換原內容的字串。設定匹配方式為Regex匹配時，輸入用於替換原內容的字串，支援根據正則分組進行替換。設定匹配方式為去除轉義符時，無需配置該參數。
結果欄位	為替換後的內容指定新欄位。

JSON配置方式

配置type為processor_string_replace，detail說明如下表所示。

參數	類型	是否必選	說明
`SourceKey`	String	是	原始欄位名。
`Method`	String	是	指定匹配方式。可選值： `const`：使用字串替換。 `regex`：使用Regex替換。 `unquote`：去除轉義符。
`Match`	String	否	輸入匹配內容。設定`Method`為`const`時，輸入與待替換內容匹配的字串。當多個字串都匹配時，全部替換。設定`Method`為`regex`時，輸入與待替換內容匹配的Regex。當多個字串都匹配時，全部替換。您也可以用正則分組方式匹配指定的分組。設定`Method`為`unquote`時，無需配置此參數。
`ReplaceString`	String	否	用於替換的字串，預設值為""。設定`Method`為`const`時，輸入用於替換原內容的字串。設定`Method`為`regex`時，輸入用於替換原內容的字串，支援根據正則分組進行替換。設定`Method`為`unquote`時，無需配置此參數。
`DestKey`	String	否	為替換後的內容指定新欄位，預設不新增欄位。

配置樣本

通過字串匹配方式進行替換

通過字串匹配方式進行替換，將content欄位值中的Error:替換為空白字串。

表單配置方式

原始日誌如下：

"content": "2023-05-20 10:01:23 Error: Unable to connect to database."

Logtail外掛程式處理配置：

處理結果：

"content": "2023-05-20 10:01:23 Unable to connect to database."

JSON配置方式

原始日誌：

"content": "2023-05-20 10:01:23 Error: Unable to connect to database."

Logtail外掛程式處理配置：

{
  "processors":[
    {
      "type":"processor_string_replace",
      "detail": {
        "SourceKey": "content",
        "Method": "const",
        "Match": "Error: ", 
        "ReplaceString": ""
      }
    }
  ]
}

處理結果：

"content": "2023-05-20 10:01:23 Unable to connect to database.",

通過Regex方式進行替換

通過Regex方式進行替換，將content欄位值中與Regex\\u\w+\[\d{1,3};*\d{1,3}m|N/A匹配的字串替換為空白字串。

表單配置方式

原始日誌：

"content": "2022-09-16 09:03:31.013 \u001b[32mINFO \u001b[0;39m \u001b[34m[TID: N/A]\u001b[0;39m [\u001b[35mThread-30\u001b[0;39m] \u001b[36mc.s.govern.polygonsync.job.BlockTask\u001b[0;39m : 區塊採集------結束------\r"

Logtail外掛程式處理配置：

處理結果：

"content": "2022-09-16 09:03:31.013 INFO [TID: ] [Thread-30] c.s.govern.polygonsync.job.BlockTask : 區塊採集------結束------\r",

JSON配置方式

原始日誌：

"content": "2022-09-16 09:03:31.013 \u001b[32mINFO \u001b[0;39m \u001b[34m[TID: N/A]\u001b[0;39m [\u001b[35mThread-30\u001b[0;39m] \u001b[36mc.s.govern.polygonsync.job.BlockTask\u001b[0;39m : 區塊採集------結束------\r"

Logtail外掛程式處理配置：

{
  "processors":[
    {
      "type":"processor_string_replace",
      "detail": {
        "SourceKey": "content",
        "Method": "regex",
        "Match": "\\\\u\\w+\\[\\d{1,3};*\\d{1,3}m|N/A", 
        "ReplaceString": ""
      }
    }
  ]
}

處理結果：

"content": "2022-09-16 09:03:31.013 INFO [TID: ] [Thread-30] c.s.govern.polygonsync.job.BlockTask : 區塊採集------結束------\r",

通過正則分組方式進行替換

通過正則分組方式進行替換，將content欄位值中的16替換為*/24，並輸出到新欄位new_ip中。

重要

正則分組替換時，替換內容中不能存在{}，只能使用$1、$2 等形式。

表單配置方式

原始日誌：
```
"content": "10.10.239.16"
```
Logtail外掛程式處理配置：

處理結果：

"content": "10.10.239.16",
"new_ip": "10.10.239.*/24",

JSON配置方式

原始日誌：
```
"content": "10.10.239.16"
```

Logtail外掛程式處理配置：

{
  "processors":[
    {
      "type":"processor_string_replace",
      "detail": {
        "SourceKey": "content",
        "Method": "regex",
        "Match": "(\\d.*\\.)\\d+", 
        "ReplaceString": "$1*/24",
        "DestKey": "new_ip"
      }
    }
  ]
}

處理結果：

"content": "10.10.239.16",
"new_ip": "10.10.239.*/24",

刪除逸出字元

表單配置方式

原始日誌：

"content": "{\\x22UNAME\\x22:\\x22\\x22,\\x22GID\\x22:\\x22\\x22,\\x22PAID\\x22:\\x22\\x22,\\x22UUID\\x22:\\x22\\x22,\\x22STARTTIME\\x22:\\x22\\x22,\\x22ENDTIME\\x22:\\x22\\x22,\\x22UID\\x22:\\x222154212790\\x22,\\x22page_num\\x22:1,\\x22page_size\\x22:10}"

Logtail外掛程式處理配置：

處理結果：

"content": "{\"UNAME\":\"\",\"GID\":\"\",\"PAID\":\"\",\"UUID\":\"\",\"STARTTIME\":\"\",\"ENDTIME\":\"\",\"UID\":\"2154212790\",\"page_num\":1,\"page_size\":10}",

JSON配置方式

原始日誌：

"content": "{\\x22UNAME\\x22:\\x22\\x22,\\x22GID\\x22:\\x22\\x22,\\x22PAID\\x22:\\x22\\x22,\\x22UUID\\x22:\\x22\\x22,\\x22STARTTIME\\x22:\\x22\\x22,\\x22ENDTIME\\x22:\\x22\\x22,\\x22UID\\x22:\\x222154212790\\x22,\\x22page_num\\x22:1,\\x22page_size\\x22:10}"

Logtail外掛程式處理配置：

{
  "processors":[
    {
      "type":"processor_string_replace",
      "detail": {
        "SourceKey": "content",
        "Method": "unquote"
      }
    }
  ]
}

處理結果：

"content": "{\"UNAME\":\"\",\"GID\":\"\",\"PAID\":\"\",\"UUID\":\"\",\"STARTTIME\":\"\",\"ENDTIME\":\"\",\"UID\":\"2154212790\",\"page_num\":1,\"page_size\":10}",

參數	說明
添加欄位	待添加的欄位名和欄位值，支援添加多個。
忽略重複欄位	存在相同的欄位名時，是否忽略重複的欄位。

參數	說明
丟棄欄位	指定待丟棄的欄位，支援配置多個。

欄位處理效果樣本

欄位處理外掛程式概覽

功能入口

使用限制

提取欄位外掛程式

正則模式

表單配置方式

JSON配置方式

標定模式

表單配置方式

JSON配置方式

CSV模式

表單配置方式

JSON配置方式

單字元分隔字元模式

表單配置方式

JSON配置方式

多字元分隔字元模式

表單配置方式

JSON配置方式

索引值對模式

表單配置方式

JSON配置方式

Grok模式

表單配置方式

JSON配置方式

添加欄位外掛程式

配置說明

表單配置方式

JSON配置方式

丟棄欄位外掛程式

配置說明

表單配置方式

JSON配置方式

重新命名欄位外掛程式

配置說明

表單配置方式

JSON配置方式

打包欄位外掛程式

配置說明

表單配置方式

JSON配置方式

展開JSON欄位外掛程式

配置說明

表單配置方式

JSON配置方式

欄位值對應外掛程式

配置說明

表單配置方式

JSON配置方式

字串替換

配置說明

表單配置方式

JSON配置方式

配置樣本

通過字串匹配方式進行替換

表單配置方式

JSON配置方式

通過Regex方式進行替換

表單配置方式

JSON配置方式

通過正則分組方式進行替換

表單配置方式

JSON配置方式

刪除逸出字元

表單配置方式

JSON配置方式

相關文檔