Simple Log Service:ログフィールドからコンテンツを抽出する

パラメーター

設定例

アンカーモードでcontentフィールドの値を抽出し、値にフィールド名time、val_key1、val_key2、val_key3、value_key4_inner1、およびvalue_key4_inner2を指定します。

• 生ログ

  "content" : "time:2022.09.12 20:55:36\t json :{\" key1\" : \" xx\", \" key2\": false, \" key3\":123.456, \" key4\" : {\" inner1\": 1, \" inner2\": false}"

• データ処理用のLogtailプラグイン設定

• 結果

  "time" : "2022.09.12 20:55:36"
  "val_key1" : "xx"
  "val_key2" : "false"
  "val_key3" : "123.456"
  "value_key4_inner1" : "1"
  "value_key4_inner2" : "false" 

パラメーター

設定例

アンカーモードでcontentフィールドの値を抽出し、値にフィールド名time、val_key1、val_key2、val_key3、value_key4_inner1、およびvalue_key4_inner2を指定します。

• 生ログ

  "content" : "time:2022.09.12 20:55:36\t json:{\"key1\" : \"xx\", \"key2\": false, \"key3\":123.456, \"key4\" : { \"inner1\" : 1, \"inner2\" : false}}"

• データ処理用のLogtailプラグイン設定

  {
     "type" : "processor_anchor",
     "detail" : {"SourceKey" : "content",
        "Anchors" : [
            {
                "Start" : "time",
                "Stop" : "\t",
                "FieldName" : "time",
                "FieldType" : "string",
                "ExpondJson" : false
            },
            {
                "Start" : "json:",
                "Stop" : "",
                "FieldName" : "val",
                "FieldType" : "json",
                "ExpondJson" : true 
            }
        ]
    }
  }

• 結果

  "time" : "2022.09.12 20:55:36"
  "val_key1" : "xx"
  "val_key2" : "false"
  "val_key3" : "123.456"
  "value_key4_inner1" : "1"
  "value_key4_inner2" : "false"

パラメーター

[プロセッサタイプ] を [フィールドの抽出 (CSVモード)] に設定します。 次に、次の表に基づいて他のパラメーターを設定します。

設定例

csvフィールドの値を抽出します。

• 生ログ

  {
      "csv": "2022-06-09,192.0.2.0,\"{\"\" key1\"\":\"\" value\"\"\"\" key2\"\:{\"\"key3\"\"\"\"文字列 \"\"\"\"}}\""
      ......
  }

• データ処理用のLogtailプラグイン設定

• 結果

  {
      "date": "2022-06-09" 、
      "ip": "192.0.2.0" 、
      "content": "{\" key1\":\" value\",\" key2\":{\" key3\":\" string\"}}"
      ......
  
  }

パラメーター

typeをprocessor_csvに設定します。 次に、次の表に基づいて他のパラメーターを詳細に設定します。

設定例

csvフィールドの値を抽出します。

• 生ログ

  {
      "csv": "2022-06-09,192.0.2.0,\"{\"\"key1\"\":\"\"value\"\",\"\"key2\"\":{\"\"key3\"\":\"\"string\"\"}}\"",
      ......
  }

• データ処理用のLogtailプラグイン設定

   {
      ......
      "type":"processor_csv",
      "detail":{
          "SourceKey":"csv",
          "SplitKeys":["date", "ip", "content"],
      }
      ......
  }

• 結果

  {
      "date": "2022-06-09",
      "ip": "192.0.2.0",
      "content": "{\"key1\":\"value\",\"key2\":{\"key3\":\"string\"}}"
      ......
  
  }

パラメーター

設定例

縦バー (|) を区切り文字として使用してcontentフィールドの値を抽出し、値にフィールド名ip、time、method、url、request_time、request_length、status、length、ref_url、およびbrowserを指定します。

• 生ログ

  "content" : "10.**.**.**|10/Aug/2022:14:57:51 +0800|POST|PutData?
  Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>|0.024|18204|200|37|-|
  aliyun-sdk-java"

• データ処理用のLogtailプラグイン設定

• 結果

  "ip" : "10.**.**.**"
  "time" : "10/Aug/2022:14:57:51 +0800"
  "method" : "POST"
  "url" : "/PutData?Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>"
  "request_time" : "0.024"
  "request_length" : "18204"
  "status" : "200"
  "length" : "27"
  "ref_url" : "-"
  "browser" : "aliyun-sdk-java"

パラメーター

設定例

縦バー (|) を区切り文字として使用してcontentフィールドの値を抽出し、値にフィールド名ip、time、method、url、request_time、request_length、status、length、ref_url、およびbrowserを指定します。

• 生ログ

  "content" : "10.**.**.**|10/Aug/2022:14:57:51 +0800|POST|PutData?
  Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>|0.024|18204|200|37|-|
  aliyun-sdk-java"

• データ処理用のLogtailプラグイン設定

  {
     "type" : "processor_split_char",
     "detail" : {"SourceKey" : "content",
        "SplitSep" : "|",
        "SplitKeys" : ["ip", "time", "method", "url", "request_time", "request_length", "status", "length", "ref_url", "browser"]     
    }
  }

• 結果

  "ip" : "10.**.**.**"
  "time" : "10/Aug/2022:14:57:51 +0800"
  "method" : "POST"
  "url" : "/PutData?Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>"
  "request_time" : "0.024"
  "request_length" : "18204"
  "status" : "200"
  "length" : "27"
  "ref_url" : "-"
  "browser" : "aliyun-sdk-java"

パラメーター

設定例

区切り文字 |#| を使用してcontentフィールドの値を抽出し、値にip、time、method、url、request_time、request_length、status、expand_1、expand_2、exp_3を指定します。

• 生ログ

  "content" : "10.**.**.**|#|10/Aug/2022:14:57:51 +0800|#|POST|#|PutData?
  Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>|#|0.024|#|18204|#|200|#|27|#|-|#|
  aliyun-sdk-java"

• データ処理用のLogtailプラグイン設定

• 結果

  "ip" : "10.**.**.**"
  "time" : "10/Aug/2022:14:57:51 +0800"
  "method" : "POST"
  "url" : "/PutData?Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>"
  "request_time" : "0.024"
  "request_length" : "18204"
  "status" : "200"
  "expand_1" : "27"
  "expand_2" : "-"
  "expand_3" : "aliyun-sdk-java"

パラメーター

設定例

区切り文字 |#| を使用してcontentフィールドの値を抽出し、値にip、time、method、url、request_time、request_length、status、expand_1、expand_2、exp_3を指定します。

• 生ログ

  "content" : "10.**.**.**|#|10/Aug/2022:14:57:51 +0800|#|POST|#|PutData?
  Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>|#|0.024|#|18204|#|200|#|27|#|-|#|
  aliyun-sdk-java"

• データ処理用のLogtailプラグイン設定

  {
     "type" : "processor_split_string",
     "detail" : {"SourceKey" : "content",
        "SplitSep" : "|#|",
        "SplitKeys" : ["ip", "time", "method", "url", "request_time", "request_length", "status"],
        "PreserveOthers" : true,
        "ExpandOthers" : true,
        "ExpandKeyPrefix" : "expand_"
    }
  }

• 結果

  "ip" : "10.**.**.**"
  "time" : "10/Aug/2022:14:57:51 +0800"
  "method" : "POST"
  "url" : "/PutData?Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>"
  "request_time" : "0.024"
  "request_length" : "18204"
  "status" : "200"
  "expand_1" : "27"
  "expand_2" : "-"
  "expand_3" : "aliyun-sdk-java"

パラメーター

設定例

• 例1: キーと値のペアモードで指定したフィールドの値を抽出します。

  キーと値のペアモードでcontentフィールドの値を抽出します。 キーと値のペアを区切るために使用される区切り文字は、タブ文字 (\t) です。 1つのキーと値のペアでキーと値を区切るために使用される区切り文字はコロン (:) です。

  • 生ログ

    "content": "class:main\tuserid:123456\tmethod:get\tmessage:\"wrong user\""

  • データ処理用のLogtailプラグイン設定

  • 結果

    "content": "class:main\tuserid:123456\tmethod:get\tmessage:\"wrong user\""
    "class": "main"
    "userid": "123456"
    "method": "get"
    "message": "\"wrong user\""

• 例2: 引用符が使用されているときに、キーと値のペアモードで指定されたフィールドの値を抽出します。

  キーと値のペアモードでcontentフィールドの値を抽出します。 キーと値のペアを区切るために使用される区切り文字は、タブ文字 (\t) です。 1つのキーと値のペアでキーと値を区切るために使用される区切り文字はコロン (:) です。 使用される引用符は二重引用符 (") です。

  • 生ログ

    "content": "class:main http_user_agent:\"User Agent\" \"Chinese\" \"hello\\t\\\"ilogtail\\\"\\tworld\""

  • データ処理用のLogtailプラグイン設定

  • 結果

    "class": "main",
    "http_user_agent": "User Agent",
    "no_separator_key_0": "Chinese",
    "no_separator_key_1": "hello\t\"ilogtail\"\tworld",

• 例3: 複数文字の引用符が使用されている場合に、キーと値のペアモードで指定されたフィールドの値を抽出します。

  キーと値のペアモードでcontentフィールドの値を抽出します。 キーと値のペアを区切るために使用される区切り文字は、タブ文字 (\t) です。 1つのキーと値のペアでキーと値を区切るために使用される区切り文字はコロン (:) です。 使用される引用符は二重引用符 ("") です。

  • 生ログ

    "content": "class:main http_user_agent:\"\"\"User Agent\"\"\" \"\"\"Chinese\"\"\""

  • データ処理用のLogtailプラグイン設定

  • 結果

    "class": "main",
    "http_user_agent": "User Agent",
    "no_separator_key_0": "Chinese",

パラメーター

設定例

• 例1: キーと値のペアモードで指定したフィールドの値を抽出します。

  キーと値のペアモードでcontentフィールドの値を抽出します。 キーと値のペアを区切るために使用される区切り文字は、タブ文字 (\t) です。 1つのキーと値のペアでキーと値を区切るために使用される区切り文字はコロン (:) です。

  • 生ログ

    "content": "class:main\tuserid:123456\tmethod:get\tmessage:\"wrong user\""

  • データ処理用のLogtailプラグイン設定

    {
      "processors":[
        {
          "type":"processor_split_key_value",
          "detail": {
            "SourceKey": "content",
            "Delimiter": "\t",
            "Separator": ":",
            "KeepSource": true
          }
        }
      ]
    }

  • 結果

    "content": "class:main\tuserid:123456\tmethod:get\tmessage:\"wrong user\""
    "class": "main"
    "userid": "123456"
    "method": "get"
    "message": "\"wrong user\""

• 例2: キーと値のペアモードで指定したフィールドの値を抽出します。

  キーと値のペアモードでcontentフィールドの値を抽出します。 キーと値のペアを区切るために使用される区切り文字は、タブ文字 (\t) です。 1つのキーと値のペアでキーと値を区切るために使用される区切り文字はコロン (:) です。 使用される引用符は二重引用符 (") です。

  • 生ログ

    "content": "class:main http_user_agent:\"User Agent\" \"Chinese\" \"hello\\t\\\"ilogtail\\\"\\tworld\""

  • データ処理用のLogtailプラグイン設定

    {
      "processors":[
        {
          "type":"processor_split_key_value",
          "detail": {
            "SourceKey": "content",
            "Delimiter": " ",
            "Separator": ":",
            "Quote": "\""
          }
        }
      ]
    }

  • 結果

    "class": "main",
    "http_user_agent": "User Agent",
    "no_separator_key_0": "Chinese",
    "no_separator_key_1": "hello\t\"ilogtail\"\tworld",

• 例3: キーと値のペアモードで指定したフィールドの値を抽出します。

  キーと値のペアモードでcontentフィールドの値を抽出します。 キーと値のペアを区切るために使用される区切り文字は、タブ文字 (\t) です。 1つのキーと値のペアでキーと値を区切るために使用される区切り文字はコロン (:) です。 使用される引用符は二重引用符 ("" ") です。

  • 生ログ

    "content": "class:main http_user_agent:\"\"\"User Agent\"\"\" \"\"\"Chinese\"\"\""

  • データ処理用のLogtailプラグイン設定

    {
      "processors":[
        {
          "type":"processor_split_key_value",
          "detail": {
            "SourceKey": "content",
            "Delimiter": " ",
            "Separator": ":",
            "Quote": "\"\"\""
          }
        }
      ]
    }

  • 結果

    "class": "main",
    "http_user_agent": "User Agent",
    "no_separator_key_0": "Chinese",

パラメーター

設定例

Grokモードでcontentフィールドの値を抽出し、値にフィールド名year、month、dayを指定します。

• 生ログ

  "content" : "2022 October 17"

• データ処理用のLogtailプラグイン設定

• 結果

  "year":"2022"
  "month":"October"
  "day":"17"

パラメーター

例 1

Grokモードでcontentフィールドの値を抽出し、値にフィールド名year、month、dayを指定します。

• 生ログ

  "content" : "2022 October 17"

• データ処理用のLogtailプラグイン設定

  {
     "type" : "processor_grok",
     "detail" : {
        "KeepSource" : false,
        "Match" : [
           "%{YEAR:year} %{MONTH:month} %{MONTHDAY:day}"
        ],
        "IgnoreParseFailure" : false
     }
  }

• 結果

  "year":"2022"
  "month":"October"
  "day":"17"

例 2

Grokモードで複数のログからcontentフィールドの値を抽出し、抽出された値を異なるGrok式に基づいて異なる結果に解析します。

• 生ログ

  {
      "content" : "begin 123.456 end"
  }
  {
      "content" : "2019 June 24 \"I am iron man"\"
  }
  {
      "content" : "WRONG LOG"
  }
  {
      "content" : "10.0.0.0 GET /index.html 15824 0.043"
  }

• データ処理用のLogtailプラグイン設定

  {
          "type" : "processor_grok",
          "detail" : {
                  "CustomPatterns" : {
                          "HTTP" : "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}"
                  },
                  "IgnoreParseFailure" : false,
                  "KeepSource" : false,
                  "Match" : [
                          "%{HTTP}",
                          "%{WORD:word1} %{NUMBER:request_time} %{WORD:word2}",
                          "%{YEAR:year} %{MONTH:month} %{MONTHDAY:day} %{QUOTEDSTRING:motto}"
                  ],
                  "SourceKey" : "content"
          },
  }

• 結果

  • この例では、processor_grokプラグインは最初のログをMatchで指定された最初の式 %{HTTP} と照合しますが、照合は失敗します。 次に、processor_grokプラグインはログを2番目の式 %{WORD:word1} %{NUMBER:request_time} %{WORD:word2} と照合し、照合に成功します。 この場合、第2の式に基づいて抽出されたコンテンツが返される。

    その結果、KeepSourceがfalseに設定されているため、生ログのcontentフィールドは破棄されます。

  • この例では、processor_grokプラグインは、2番目のログを、Matchで順番に指定されている最初の式 %{HTTP} および2番目の式 %{WORD:word1} %{NUMBER:request_time} %{WORD:word2} と照合します。 次に、processor_grokプラグインは2番目のログを3番目の式 %{YEAR:year} %{MONTH:month} %{MONTHDAY:day} %{QUOTEDSTRING:motto} と照合し、照合に成功します。 この場合、第3の式に基づいて抽出されたコンテンツが返される。

  • この例では、processor_grokプラグインは、3番目のログをMatchで指定された3つの式と順番に照合しますが、すべての照合は失敗します。 IgnoreParseFailureがfalseに設定されているため、ログは破棄されます。

  • この例では、processor_grokプラグインは、4番目のログをMatchで指定された最初の式 %{HTTP} と照合し、照合に成功します。 この場合、第1の式に基づいて抽出されたコンテンツが返される。

  {
    "word1":"begin",
    "request_time":"123.456",
    "word2":"end",
  }
  {
    "year":"2019",
    "month":"June",
    "day":"24",
    "motto":"\"I am iron man"\",
  }
  {
    "client":"10.0.0.0",
    "method":"GET",
    "request":"/index.html",
    "bytes":"15824",
    "duration":"0.043",
  }