Simple Log Service：欄位處理類外掛程式

表單配置方式

• 參數說明

  配置處理器類型為添加欄位，相關參數說明如下表所示。

  參數	說明
  添加欄位	待添加的欄位名和欄位值，支援添加多個。
  忽略重複欄位	存在相同的欄位名時，是否忽略重複的欄位。

• 配置樣本

  添加aaa2欄位和aaa3欄位，配置樣本如下：

  • 原始日誌

    "aaa1":"value1"

  • Logtail外掛程式處理配置 ：添加兩個欄位，aaa2 值為 value2，aaa3 值為 value3。

  • 處理結果

    "aaa1":"value1"
    "aaa2":"value2"
    "aaa3":"value3"

JSON配置方式

• 參數說明

  配置type為processor_add_fields，detail說明如下表所示。

  參數	類型	是否必選	說明
  Fields	Map	是	待添加的欄位名和欄位值。索引值對格式，支援添加多個。
  IgnoreIfExist	Boolean	否	存在相同的欄位名時，是否忽略重複的欄位。 true：忽略。 false（預設值）：不忽略。

• 配置樣本

  添加aaa2欄位和aaa3欄位，配置樣本如下：

  • 原始日誌

    "aaa1":"value1"

  • Logtail外掛程式處理配置

    {
      "processors":[
        {
          "type":"processor_add_fields",
          "detail": {
            "Fields": {
              "aaa2": "value2",
              "aaa3": "value3"
            }
          }
        }
      ]
    }

  • 處理結果

    "aaa1":"value1"
    "aaa2":"value2"
    "aaa3":"value3"

表單配置方式

• 參數配置

  配置處理外掛程式類型為重新命名欄位，相關參數說明如下表所示。

  參數	說明
  原始欄位	待重新命名的原始欄位。
  結果欄位	重新命名後的欄位。
  原始欄位缺失報錯	選中該選項後，如果日誌中無您所指定的原始欄位，系統將報錯。

• 配置樣本

  將aaa1欄位重新命名為bbb1，將aaa2欄位重新命名bbb2，配置樣本如下：

  • 原始日誌

    "aaa1":"value1"
    "aaa2":"value2"
    "aaa3":"value3"

  • Logtail外掛程式處理配置 ：將 aaa1 重新命名為 bbb1，將 aaa2 重新命名為 bbb2。

  • 處理結果

    "bbb1":"value1"
    "bbb2":"value2"
    "aaa3":"value3"

JSON配置方式

• 參數配置

  配置type為processor_rename，detail說明如下表所示。

  參數	類型	是否必選	說明
  NoKeyError	Boolean	否	日誌中無您所指定的原始欄位時，系統是否報錯。 true：報錯。 false（預設值）：不報錯。
  SourceKeys	String數組	是	待重新命名的原始欄位。
  DestKeys	String數組	是	重新命名後的欄位。

• 配置樣本

  將aaa1欄位重新命名為bbb1，將aaa2欄位重新命名bbb2，配置樣本如下：

  • 原始日誌

    "aaa1":"value1"
    "aaa2":"value2"
    "aaa3":"value3"

  • Logtail外掛程式處理配置

    {
      "processors":[
        {
          "type":"processor_rename",
          "detail": {
            "SourceKeys": ["aaa1","aaa2"],
            "DestKeys": ["bbb1","bbb2"],
            "NoKeyError": true
          }
        }
      ]
    }

  • 處理結果

    "bbb1":"value1"
    "bbb2":"value2"
    "aaa3":"value3"

表單配置方式

• 參數說明

  配置處理器類型為打包欄位，相關參數說明如下表所示。

  參數	說明
  原始欄位	待打包的原始欄位。
  結果欄位	打包後的欄位。
  保留原始欄位	選中該選項後，解析後的日誌中將保留原始欄位。
  原始欄位缺失報錯	選中該選項後，如果原始日誌中無您指定的原始欄位，系統將報錯。

• 配置樣本

  將指定的a欄位和b欄位打包成JSON欄位d_key，配置樣本如下：

  • 原始日誌

    "a":"1"
    "b":"2"

  • Logtail外掛程式處理配置 ：原始欄位設定為 a 和 b，結果欄位設定為 d_key。

  • 處理結果

    "a":"1"
    "b":"2"
    "d_key":"{\"a\":\"1\",\"b\":\"2\"}"

JSON配置方式

• 參數說明

  配置type為processor_packjson，detail說明如下表所示。

  參數	類型	是否必選	說明
  SourceKeys	String數組	是	待打包的原始欄位。
  DestKey	String	否	打包後的欄位。
  KeepSource	Boolean	否	解析後的日誌中是否保留原始欄位。 true（預設值）：保留。 false：不保留。
  AlarmIfIncomplete	Boolean	否	原始日誌中無您所指定的原始欄位時，系統是否報錯。 true（預設值）：報錯。 false：不報錯。

• 配置樣本

  將指定的a欄位和b欄位打包成JSON欄位d_key，配置樣本如下：

  • 原始日誌

    "a":"1"
    "b":"2"

  • Logtail外掛程式處理配置

    {
      "processors":[
        {
          "type":"processor_packjson",
          "detail": {
            "SourceKeys": ["a","b"],
            "DestKey":"d_key",
            "KeepSource":true,
            "AlarmIfEmpty":true
          }
        }
      ]
    }

  • 處理結果

    "a":"1"
    "b":"2"
    "d_key":"{\"a\":\"1\",\"b\":\"2\"}"

表單配置方式

• 參數說明

  配置處理器類型為展開JSON欄位，相關參數說明如下表所示。

  參數	說明
  原始欄位	待展開的原始欄位名。
  JSON展開深度	JSON展開的深度。預設值為0，表示不限制。1表示當前層級，以此類推。
  JSON展開串連符	JSON展開時的串連符，預設值為底線（_）。
  JSON展開欄位首碼	JSON展開時，對欄位名附加的首碼。
  展開數組	是否展開數群組類型。Logtail 1.8.0及以上版本支援該參數。
  保留原始欄位	選中該選項後，被解析後的日誌中將保留原始欄位。
  原始欄位缺失報錯	選中該選項後，如果原始日誌中無您所指定的原始欄位，系統將報錯。
  將原始欄位名作為展開欄位名首碼	選中該選項後，系統會將原始欄位名作為所有JSON展開欄位名的首碼。
  解析失敗保留原始日誌	選中該選項後，如果解析日誌失敗，系統將保留原始日誌。

• 配置樣本

  對s_key欄位進行JSON展開，並使用j作為首碼，和原始欄位名s_key作為JSON展開後欄位名。配置樣本如下：

  • 原始日誌（Logtail讀取的檔案路徑）

    {"s_key":"{\"k1\":{\"k2\":{\"k3\":{\"k4\":{\"k51\":\"51\",\"k52\":\"52\"},\"k41\":\"41\"}}}}"}

  • Logtail外掛程式處理配置

    原始欄位設定為 content，開啟無原始欄位報錯，JSON展開深度設定為 0（完全展開），展開串連符設定為虛線（-），首碼設定為 j，開啟使用原始欄位名作為首碼，不保留原始欄位。

  • 處理結果

    展開後的日誌包含以下欄位：j_s_key_k1_k2_k3_k4_k51 值為 51，j_s_key_k1_k2_k3_k4_k52 值為 52，j_s_key_k1_k2_k3_k41 值為 41。原始 s_key 欄位已被移除。

JSON配置方式

• 參數說明

  配置type為processor_json，detail說明如下表所示。

  參數	類型	是否必選	說明
  SourceKey	String	是	待展開的原始欄位名。
  NoKeyError	Boolean	否	原始日誌中無您所指定的原始欄位時，系統是否報錯。 true（預設值）：報錯。 false：不報錯。
  ExpandDepth	Int	否	JSON展開的深度。預設值為0，表示不限制。1表示當前層級，以此類推。
  ExpandConnector	String	否	JSON展開時的串連符，預設值為底線（_）。
  Prefix	String	否	JSON展開時，對欄位名附加的首碼。
  KeepSource	Boolean	否	被解析後的日誌中是否保留原始欄位。 true（預設值）：保留。 false：不保留。
  UseSourceKeyAsPrefix	Boolean	否	是否將原始欄位名作為所有JSON展開欄位名的首碼。
  KeepSourceIfParseError	Boolean	否	解析日誌失敗時，是否保留原始日誌。 true（預設值）：保留。 false：不保留。
  ExpandArray	Boolean	否	是否展開數群組類型。Logtail 1.8.0及以上版本支援該參數。 false（預設值）：不展開。 true：展開。例如{"k":["1","2"]}展開為{"k[0]":"1","k[1]":"2"}。

• 配置樣本

  對s_key欄位進行JSON展開，並使用j作為首碼，和原始欄位名s_key作為JSON展開後欄位名。配置樣本如下：

  • 原始日誌（Logtail讀取的檔案路徑）

    {"s_key":"{\"k1\":{\"k2\":{\"k3\":{\"k4\":{\"k51\":\"51\",\"k52\":\"52\"},\"k41\":\"41\"}}}}"}

  • Logtail外掛程式處理配置

    {
      "processors":[
        {
          "type":"processor_json",
          "detail": {
            "SourceKey": "content",
            "NoKeyError":true,
            "ExpandDepth":0,
            "ExpandConnector":"-",
            "Prefix":"j",
            "KeepSource": false,
            "UseSourceKeyAsPrefix": true
          }
        }
      ]
    }

  • 處理結果

    展開後的日誌包含以下欄位：j_s_key_k1_k2_k3_k4_k51 值為 51，j_s_key_k1_k2_k3_k4_k52 值為 52，j_s_key_k1_k2_k3_k41 值為 41。原始 s_key 欄位已被移除。

表單配置方式

JSON配置方式