Simple Log Service:フィールド処理プラグイン

パラメーター

例

パラメーター

例

パラメーター

例

区切り文字モードで content フィールドの値を抽出し、フィールド名を time、val_key1、val_key2、val_key3、value_key4_inner1、および value_key4_inner2 に設定します。以下に構成例を示します。

• 生ログ

  "content" : "time:2022.09.12 20:55:36\t json:{\"key1\" : \"xx\", \"key2\": false, \"key3\":123.456, \"key4\" : { \"inner1\" : 1, \"inner2\" : false}}"

• Logtail プラグイン構成

• 結果

  "time" : "2022.09.12 20:55:36"
  "val_key1" : "xx"
  "val_key2" : "false"
  "val_key3" : "123.456"
  "value_key4_inner1" : "1"
  "value_key4_inner2" : "false"

パラメーター

例

区切り文字モードで content フィールドの値を抽出し、フィールド名を time、val_key1、val_key2、val_key3、value_key4_inner1、および value_key4_inner2 に設定します。以下に構成例を示します。

• 生ログ

  "content" : "time:2022.09.12 20:55:36\t json:{\"key1\" : \"xx\", \"key2\": false, \"key3\":123.456, \"key4\" : { \"inner1\" : 1, \"inner2\" : false}}"

• Logtail プラグイン構成

  {
     "type" : "processor_anchor",
     "detail" : {"SourceKey" : "content",
        "Anchors" : [
            {
                "Start" : "time",
                "Stop" : "\t",
                "FieldName" : "time",
                "FieldType" : "string",
                "ExpondJson" : false
            },
            {
                "Start" : "json:",
                "Stop" : "",
                "FieldName" : "val",
                "FieldType" : "json",
                "ExpondJson" : true 
            }
        ]
    }
  }

• 結果

  "time" : "2022.09.12 20:55:36"
  "val_key1" : "xx"
  "val_key2" : "false"
  "val_key3" : "123.456"
  "value_key4_inner1" : "1"
  "value_key4_inner2" : "false"

パラメーター

[プロセッサタイプ] を [フィールドの抽出 (CSV モード)] に設定します。次の表にパラメーターを示します。

例

csv フィールドの値を抽出します。以下に構成例を示します。

• 生ログ

  {
      "csv": "2022-06-09,192.0.2.0,\"{\"\"key1\"\":\"\"value\"\",\"\"key2\"\":{\"\"key3\"\":\"\"string\"\"}}\"",
      ......
  }

• Logtail プラグイン構成

• 結果

  {
      "date": "2022-06-09",
      "ip": "192.0.2.0",
      "content": "{\"key1\":\"value\",\"key2\":{\"key3\":\"string\"}}"
      ......
  
  }

パラメーター

type を processor_csv に設定します。次の表に detail のパラメーターを示します。

例

csv フィールドの値を抽出します。以下に構成例を示します。

• 生ログ

  {
      "csv": "2022-06-09,192.0.2.0,\"{\"\"key1\"\":\"\"value\"\",\"\"key2\"\":{\"\"key3\"\":\"\"string\"\"}}\"",
      ......
  }

• Logtail プラグイン構成

   {
      ......
      "type":"processor_csv",
      "detail":{
          "SourceKey":"csv",
          "SplitKeys":["date", "ip", "content"],
      }
      ......
  }

• 結果

  {
      "date": "2022-06-09",
      "ip": "192.0.2.0",
      "content": "{\"key1\":\"value\",\"key2\":{\"key3\":\"string\"}}"
      ......
  
  }

パラメーター

例

区切り文字として縦棒 (|) を使用して content フィールドの値を抽出し、フィールド名を ip、time、method、url、request_time、request_length、status、length、ref_url、および browser に設定します。以下に構成例を示します。

• 生ログ

  "content" : "10.**.**.**|10/Aug/2022:14:57:51 +0800|POST|PutData?
  Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>|0.024|18204|200|37|-|
  aliyun-sdk-java"

• Logtail プラグイン構成

• 結果

  "ip" : "10.**.**.**"
  "time" : "10/Aug/2022:14:57:51 +0800"
  "method" : "POST"
  "url" : "/PutData?Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>"
  "request_time" : "0.024"
  "request_length" : "18204"
  "status" : "200"
  "length" : "27"
  "ref_url" : "-"
  "browser" : "aliyun-sdk-java"

パラメーター

例

区切り文字として縦棒 (|) を使用して content フィールドの値を抽出し、フィールド名を ip、time、method、url、request_time、request_length、status、length、ref_url、および browser に設定します。以下に構成例を示します。

• 生ログ

  "content" : "10.**.**.**|10/Aug/2022:14:57:51 +0800|POST|PutData?
  Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>|0.024|18204|200|37|-|
  aliyun-sdk-java"

• Logtail プラグイン構成

  {
     "type" : "processor_split_char",
     "detail" : {"SourceKey" : "content",
        "SplitSep" : "|",
        "SplitKeys" : ["ip", "time", "method", "url", "request_time", "request_length", "status", "length", "ref_url", "browser"]     
    }
  }

• 結果

  "ip" : "10.**.**.**"
  "time" : "10/Aug/2022:14:57:51 +0800"
  "method" : "POST"
  "url" : "/PutData?Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>"
  "request_time" : "0.024"
  "request_length" : "18204"
  "status" : "200"
  "length" : "27"
  "ref_url" : "-"
  "browser" : "aliyun-sdk-java"

パラメーター

例

区切り文字 |#| を使用して content フィールドの値を抽出し、フィールド名を ip、time、method、url、request_time、request_length、status、expand_1、expand_2、および expand_3 に設定します。以下に構成例を示します。

• 生ログ

  "content" : "10.**.**.**|#|10/Aug/2022:14:57:51 +0800|#|POST|#|PutData?
  Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>|#|0.024|#|18204|#|200|#|27|#|-|#|
  aliyun-sdk-java"

• Logtail プラグイン構成

• 結果

  "ip" : "10.**.**.**"
  "time" : "10/Aug/2022:14:57:51 +0800"
  "method" : "POST"
  "url" : "/PutData?Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>"
  "request_time" : "0.024"
  "request_length" : "18204"
  "status" : "200"
  "expand_1" : "27"
  "expand_2" : "-"
  "expand_3" : "aliyun-sdk-java"

パラメーター

例

区切り文字 |#| を使用して content フィールドの値を抽出し、フィールド名を ip、time、method、url、request_time、request_length、status、expand_1、expand_2、および expand_3 に設定します。以下に構成例を示します。

• 生ログ

  "content" : "10.**.**.**|#|10/Aug/2022:14:57:51 +0800|#|POST|#|PutData?
  Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>|#|0.024|#|18204|#|200|#|27|#|-|#|
  aliyun-sdk-java"

• Logtail プラグイン構成

  {
     "type" : "processor_split_string",
     "detail" : {"SourceKey" : "content",
        "SplitSep" : "|#|",
        "SplitKeys" : ["ip", "time", "method", "url", "request_time", "request_length", "status"],
        "PreserveOthers" : true,
        "ExpandOthers" : true,
        "ExpandKeyPrefix" : "expand_"
    }
  }

• 結果

  "ip" : "10.**.**.**"
  "time" : "10/Aug/2022:14:57:51 +0800"
  "method" : "POST"
  "url" : "/PutData?Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>"
  "request_time" : "0.024"
  "request_length" : "18204"
  "status" : "200"
  "expand_1" : "27"
  "expand_2" : "-"
  "expand_3" : "aliyun-sdk-java"

パラメーター

例

• 例 1: キーと値のペアを分割します。

  content フィールドの値をキーと値のペアに分割します。キーと値のペア間の区切り文字はタブ文字 \t で、キーと値のペア内の区切り文字はコロン (:) です。以下に構成例を示します。

  • 生ログ

    "content": "class:main\tuserid:123456\tmethod:get\tmessage:\"wrong user\""

  • Logtail プラグイン構成

  • 結果

    "content": "class:main\tuserid:123456\tmethod:get\tmessage:\"wrong user\""
    "class": "main"
    "userid": "123456"
    "method": "get"
    "message": "\"wrong user\""

• 例 2: 引用符文字を含むキーと値のペアを分割します。

  content フィールドの値をキーと値のペアに分割します。キーと値のペア間の区切り文字はタブ文字 \t、キーと値のペア内の区切り文字はコロン (:)、引用符文字は二重引用符 (") です。以下に構成例を示します。

  • 生ログ

    "content": "class:main http_user_agent:\"User Agent\" \"Chinese\" \"hello\\t\\\"ilogtail\\\"\\tworld\""

  • Logtail プラグイン構成

  • 結果

    "class": "main",
    "http_user_agent": "User Agent",
    "no_separator_key_0": "Chinese",
    "no_separator_key_1": "hello\t\"ilogtail\"\tworld",

• 例 3: 複数文字の引用符文字を含むキーと値のペアを分割します。

  content フィールドの値をキーと値のペアに分割します。キーと値のペア間の区切り文字はタブ文字 \t、キーと値のペア内の区切り文字はコロン (:)、引用符文字は二重引用符 ("") です。以下に構成例を示します。

  • 生ログ

    "content": "class:main http_user_agent:\"\"\"User Agent\"\"\" \"\"\"Chinese\"\"\""

  • Logtail プラグイン構成

  • 結果

    "class": "main",
    "http_user_agent": "User Agent",
    "no_separator_key_0": "Chinese",

パラメーター

例

• 例 1: キーと値のペアを分割します。

  content フィールドの値をキーと値のペアに分割します。キーと値のペア間の区切り文字はタブ文字 \t で、キーと値のペア内の区切り文字はコロン (:) です。以下に構成例を示します。

  • 生ログ

    "content": "class:main\tuserid:123456\tmethod:get\tmessage:\"wrong user\""

  • Logtail プラグイン構成

    {
      "processors":[
        {
          "type":"processor_split_key_value",
          "detail": {
            "SourceKey": "content",
            "Delimiter": "\t",
            "Separator": ":",
            "KeepSource": true
          }
        }
      ]
    }

  • 結果

    "content": "class:main\tuserid:123456\tmethod:get\tmessage:\"wrong user\""
    "class": "main"
    "userid": "123456"
    "method": "get"
    "message": "\"wrong user\""

• 例 2: キーと値のペアを分割します。

  content フィールドの値をキーと値のペアに分割します。キーと値のペア間の区切り文字はタブ文字 \t、キーと値のペア内の区切り文字はコロン (:)、引用符文字は二重引用符 (") です。以下に構成例を示します。

  • 生ログ

    "content": "class:main http_user_agent:\"User Agent\" \"Chinese\" \"hello\\t\\\"ilogtail\\\"\\tworld\""

  • Logtail プラグイン構成

    {
      "processors":[
        {
          "type":"processor_split_key_value",
          "detail": {
            "SourceKey": "content",
            "Delimiter": " ",
            "Separator": ":",
            "Quote": "\""
          }
        }
      ]
    }

  • 結果

    "class": "main",
    "http_user_agent": "User Agent",
    "no_separator_key_0": "Chinese",
    "no_separator_key_1": "hello\t\"ilogtail\"\tworld",

• 例 3: キーと値のペアを分割します。

  content フィールドの値をキーと値のペアに分割します。キーと値のペア間の区切り文字はタブ文字 \t、キーと値のペア内の区切り文字はコロン (:)、引用符文字は三重引用符 (""") です。以下に構成例を示します。

  • 生ログ

    "content": "class:main http_user_agent:\"\"\"User Agent\"\"\" \"\"\"Chinese\"\"\""

  • Logtail プラグイン構成

    {
      "processors":[
        {
          "type":"processor_split_key_value",
          "detail": {
            "SourceKey": "content",
            "Delimiter": " ",
            "Separator": ":",
            "Quote": "\"\"\""
          }
        }
      ]
    }

  • 結果

    "class": "main",
    "http_user_agent": "User Agent",
    "no_separator_key_0": "Chinese",

パラメーター

例

Grok モードで content フィールドの値を抽出し、抽出されたフィールドに year、month、および day という名前を付けます。以下に構成例を示します。

• 生ログ

  "content" : "2022 October 17"

• Logtail プラグイン構成

• 結果

  "year":"2022"
  "month":"October"
  "day":"17"

パラメーター

例 1

Grok モードで content フィールドの値を抽出し、抽出されたフィールドに year、month、および day という名前を付けます。以下に構成例を示します。

• 生ログ

  "content" : "2022 October 17"

• Logtail プラグイン構成

  {
     "type" : "processor_grok",
     "detail" : {
        "KeepSource" : false,
        "Match" : [
           "%{YEAR:year} %{MONTH:month} %{MONTHDAY:day}"
        ],
        "IgnoreParseFailure" : false
     }
  }

• 結果

  "year":"2022"
  "month":"October"
  "day":"17"

例 2

複数のログから content フィールドの値を抽出し、異なる Grok 式に基づいて異なる結果に解析します。以下に構成例を示します。

• 生ログ

  {
      "content" : "begin 123.456 end"
  }
  {
      "content" : "2019 June 24 \"I am iron man"\"
  }
  {
      "content" : "WRONG LOG"
  }
  {
      "content" : "10.0.0.0 GET /index.html 15824 0.043"
  }

• Logtail プラグイン構成

  {
          "type" : "processor_grok",
          "detail" : {
                  "CustomPatterns" : {
                          "HTTP" : "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}"
                  },
                  "IgnoreParseFailure" : false,
                  "KeepSource" : false,
                  "Match" : [
                          "%{HTTP}",
                          "%{WORD:word1} %{NUMBER:request_time} %{WORD:word2}",
                          "%{YEAR:year} %{MONTH:month} %{MONTHDAY:day} %{QUOTEDSTRING:motto}"
                  ],
                  "SourceKey" : "content"
          },
  }

• 結果

  • 最初のログについて、processor_grok プラグインは Match パラメーターの最初の式 %{HTTP} との一致に失敗しますが、2 番目の式 %{WORD:word1} %{NUMBER:request_time} %{WORD:word2} とは正常に一致します。したがって、抽出結果は 2 番目の式に基づいています。

    KeepSource パラメーターが false に設定されているため、生ログの content フィールドは破棄されます。

  • 2 番目のログエントリでは、processor_grok プラグインは [Match] パラメーター内の 1 番目の式 %{HTTP} と 2 番目の式 %{WORD:word1} %{NUMBER:request_time} %{WORD:word2} にはエントリが一致しませんが、3 番目の式 %{YEAR:year} %{MONTH:month} %{MONTHDAY:day} %{QUOTEDSTRING:motto} には一致します。そのため、プラグインは 3 番目の式に基づいて抽出結果を返します。

  • 3 番目のログについて、processor_grok プラグインは Match パラメーターの 3 つの式のいずれとも一致しません。IgnoreParseFailure パラメーターを false に設定したため、3 番目のログは破棄されます。

  • 4 番目のログについて、processor_grok プラグインは Match パラメーターの最初の式 %{HTTP} と正常に一致します。したがって、抽出結果は最初の式に基づいています。

  {
    "word1":"begin",
    "request_time":"123.456",
    "word2":"end",
  }
  {
    "year":"2019",
    "month":"June",
    "day":"24",
    "motto":"\"I am iron man"\",
  }
  {
    "client":"10.0.0.0",
    "method":"GET",
    "request":"/index.html",
    "bytes":"15824",
    "duration":"0.043",
  }