Simple Log Service:Plugins de transformação de dados

Configuração por formulário

• Parâmetros

  defina o Processor Type como Convert IP Addresses.

  Parâmetro	Descrição
  Original Field	O campo source que contém o endereço IP para conversão.
  GeoIP Database Path	O caminho absoluto para o banco de dados GeoIP. Por exemplo, /user/data/GeoLite2-City_20180102/GeoLite2-City.mmdb.
  Retain Original Field	Mantém o campo source no log processado.
  Report Original Field Missing Error	Gera um erro se o campo source estiver ausente no log bruto.
  Report Parsing Failure Error	Gera um erro se o endereço IP for inválido ou não for encontrado no banco de dados.
  Language	O idioma dos nomes de localidade. Padrão: zh-CN. Importante Certifique-se de que o seu banco de dados GeoIP suporte o idioma especificado.

• Exemplo

  • Log bruto

    "source_ip" : "**.**.**.**"

  • Configuração do plugin do Logtail: configure o processor com as seguintes definições: defina o Processor Type como Convert IP Addresses, especifique source_ip para Original Field e /user/data/GeoLite2-City_20180102/GeoLite2-City.mmdb para GeoIP Database Path. Nas configurações avançadas, selecione Retain Original Field, Report Original Field Missing Error e Report Parsing Failure Error. Defina Language como zh-CN e clique em confirme.

  • Resultado do processamento

    "source_ip" : "**.**.**.**"
    "source_ip_province_" : "Zhejiang"
    "source_ip_city_" : "China (Hangzhou)"
    "source_ip_province_code_" : "ZJ"
    "source_ip_country_code_" : "CN"
    "source_ip_longitude_" : "120.********"
    "source_ip_latitude_" : "30.********"

Configuração JSON

• Parâmetros

  defina type como processor_geoip. O parâmetro detail é descrito na tabela a seguir.

  Parâmetro	Tipo	Obrigatório	Descrição
  SourceKey	String	Sim	O campo source que contém o endereço IP para conversão.
  DBPath	String	Sim	O caminho completo para o banco de dados GeoIP. Por exemplo, /user/data/GeoLite2-City_20180102/GeoLite2-City.mmdb.
  NoKeyError	Boolean	Não	Gera um erro se o campo especificado por SourceKey estiver ausente no log bruto. true: Gera um erro. false (padrão): Não gera erro.
  NoMatchError	Boolean	Não	Gera um erro se o endereço IP for inválido ou não for encontrado no banco de dados. true (padrão): Gera um erro. false: Não gera erro.
  KeepSource	Boolean	Não	Mantém o campo source no log processado. true (padrão): Mantém o campo source. false: Não mantém o campo source.
  Language	String	Não	O idioma dos nomes de localidade. Padrão: zh-CN. Importante Certifique-se de que o seu banco de dados GeoIP suporte o idioma especificado.

• Exemplo

  • Log bruto

    "source_ip" : "**.**.**.**"

  • Configuração do plugin do Logtail

    {
       "type": "processor_geoip",
        "detail": {
             "SourceKey": "source_ip",
             "NoKeyError": true,
             "NoMatchError": true,
             "KeepSource": true,
             "DBPath" : "/user/data/GeoLite2-City_20180102/GeoLite2-City.mmdb"
        }
    }

  • Resultado do processamento

    "source_ip" : "**.**.**.**"
    "source_ip_city_" : "China (Hangzhou)"
    "source_ip_province_code_" : "ZJ"
    "source_ip_country_code_" : "CN"
    "source_ip_longitude_" : "120.********"
    "source_ip_latitude_" : "30.********"

Console

defina o Processor Type como Log to Metric. A tabela a seguir descreve os parâmetros.

• Parâmetros

  Parâmetro	Descrição
  MetricTimeKey	O campo de tempo do log usado para mapear o campo __time_nano__ nos dados de séries temporais. Por padrão, o valor do campo __time__ é usado. Certifique-se de que o campo especificado contenha um timestamp Unix válido. As unidades suportadas são segundos (10 dígitos), milissegundos (13 dígitos), microssegundos (16 dígitos) e nanossegundos (19 dígitos).
  MetricLabelKeys	A lista de chaves do campo __labels__. As chaves devem seguir a expressão regular ^[a-zA-Z_][a-zA-Z0-9_]*$. Os valores não podem conter uma barra vertical (|) ou #$#. Para mais detalhes, consulte Time series data (Metric). Você não pode adicionar o campo __labels__ ao parâmetro MetricLabelKeys. Se o campo __labels__ existir no campo source, seu valor é anexado ao novo campo __labels__.
  MetricValues	Um mapa de campos de log para os nomes e valores das métricas. Em cada par chave-valor, a chave especifica o campo de log para o nome da métrica (__name__), e o valor especifica o campo de log para o valor da métrica (__value__). O nome da métrica corresponde ao campo __name__ e deve seguir a expressão regular ^[a-zA-Z_:][a-zA-Z0-9_:]*$. O valor da métrica corresponde ao campo __value__, que deve ser do tipo Double. Para obter mais detalhes, consulte Time series data (metrics).
  CustomMetricLabels	Para o campo __labels__ personalizado, a chave (Key) deve seguir a expressão regular ^[a-zA-Z_][a-zA-Z0-9_]*$, e o valor (Value) não pode conter uma barra vertical (|) ou #$#. Para mais detalhes, consulte Time Series Data (Metric).
  IgnoreError	Indica se deve registrar um erro quando nenhum log corresponder à conversão. Padrão: false (um erro é registrado).

• Exemplo de configuração

  • Log bruto

    {
        "script_md5":"8c6aebe9****c27f",
        "remote_addr":"123.XX.XX.123",
        "remote_user":"-",
        "time_local":"15/Aug/2023:12:03:20",
        "method":"GET",
        "url":"/www.a.com",
        "protocol":"HTTP/1.1",
        "status":"404",
        "body_bytes_sent":"4146",
        "http_referer":"-",
        "http_user_agent":"curl/7.74.0",
        "http_x_forwarded_for":"-",
        "__labels__":"field1#$#field1|field2#$#field2|tag1#$#tag1|tag2#$#tag2",
        "body_bytes_sent_name":"body_bytes_sent",
        "status_name":"status",
        "httptime":"1692101000",
        "__time__":"1692101000"
    }

  • Configuração do plugin do Logtail

    Na caixa de diálogo de configuração do processador, defina o Processor Type como Log to Metric. defina MetricTimeKey como httptime. Adicione url e method a MetricLabelKeys. Em MetricValues, adicione dois mapeamentos: body_bytes_sent_name para body_bytes_sent e status_name para status. Em CustomMetricLabels, adicione um rótulo com a chave nginx e o valor test. Clique em confirme.

  • Resultado do processamento

    • Primeiro registro de dados de série temporal

      {
          "__labels__":"field1#$#field1|field2#$#field2|method#$#GET|nginx#$#test|tag1#$#tag1|tag2#$#tag2|url#$#/www.a.com",
          "__name__":"body_bytes_sent",
          "__value__":"4146",
          "__time_nano__":"1692101000000000000",
          "__time__":"1692101000"
      }

    • Segundo registro de dados de série temporal

      {
          "__labels__":"field1#$#field1|field2#$#field2|method#$#GET|nginx#$#test|tag1#$#tag1|tag2#$#tag2|url#$#/www.a.com",
          "__name__":"status",
          "__value__":"404",
          "__time_nano__":"1692101000000000000",
          "__time__":"1692101000"
      }

JSON

defina type como processor_log_to_sls_metric. A tabela a seguir descreve os parâmetros no objeto detail.

• Parâmetros

  Parâmetro	Tipo	Obrigatório	Descrição
  MetricTimeKey	String	Não	O campo de tempo do log usado para mapear o campo __time_nano__ nos dados de séries temporais. Por padrão, o valor do campo __time__ é usado. Certifique-se de que o campo especificado contenha um timestamp Unix válido. As unidades suportadas são segundos (10 dígitos), milissegundos (13 dígitos), microssegundos (16 dígitos) e nanossegundos (19 dígitos).
  MetricLabelKeys	Array de strings	Sim	A lista de chaves do campo __labels__. As chaves devem seguir a expressão regular ^[a-zA-Z_][a-zA-Z0-9_]*$. Os valores não podem conter barras verticais (|) ou #$#. Para mais detalhes, consulte Time series data (metrics). Você não pode adicionar o campo __labels__ ao parâmetro MetricLabelKeys. Se o campo __labels__ existir no campo source, seu valor é anexado ao novo campo __labels__.
  MetricValues	Mapa	Sim	Um mapa de campos de log para os nomes e valores das métricas. Em cada par chave-valor, a chave especifica o campo de log para o nome da métrica (__name__), e o valor especifica o campo de log para o valor da métrica (__value__). O nome da métrica corresponde ao campo __name__ e deve seguir a expressão regular ^[a-zA-Z_:][a-zA-Z0-9_:]*$. O valor da métrica corresponde ao campo __value__ e deve ser do tipo Double. Para obter mais detalhes, consulte Time series data (metrics).
  CustomMetricLabels	Mapa	Não	Para o campo __labels__ personalizado, a chave (Key) deve seguir a expressão regular ^[a-zA-Z_][a-zA-Z0-9_]*$, e o valor (Value) não pode conter uma barra vertical (|) ou #$#. Para mais detalhes, consulte Time series data (Metric).
  IgnoreError	Boolean	Não	Indica se deve registrar um erro quando nenhum log corresponder. Padrão: false (um erro é registrado).

• Exemplo de configuração

  • Log bruto

    {
        "script_md5":"8c6aebe9****c27f",
        "remote_addr":"123.XX.XX.123",
        "remote_user":"-",
        "time_local":"15/Aug/2023:12:03:20",
        "method":"GET",
        "url":"/www.a.com",
        "protocol":"HTTP/1.1",
        "status":"404",
        "body_bytes_sent":"4146",
        "http_referer":"-",
        "http_user_agent":"curl/7.74.0",
        "http_x_forwarded_for":"-",
        "__labels__":"field1#$#field1|field2#$#field2|tag1#$#tag1|tag2#$#tag2",
        "body_bytes_sent_name":"body_bytes_sent",
        "status_name":"status",
        "httptime":"1692101000",
        "__time__":"1692101000"
    }

  • Configuração do plugin do Logtail

    {
        "processors":[
            {
                "detail":{
                    "CustomMetricLabels":{
                        "nginx":"test"
                    },
                    "IgnoreError":false,
                    "MetricLabelKeys":[
                        "url",
                        "method"
                    ],
                    "MetricTimeKey":"httptime",
                    "MetricValues":{
                        "body_bytes_sent_name":"body_bytes_sent",
                        "status_name":"status"
                    }
                },
                "type":"processor_log_to_sls_metric"
            }
        ]
    }

  • Resultado do processamento

    • Primeiro registro de dados de série temporal

      {
          "__labels__":"field1#$#field1|field2#$#field2|method#$#GET|nginx#$#test|tag1#$#tag1|tag2#$#tag2|url#$#/www.a.com",
          "__name__":"body_bytes_sent",
          "__value__":"4146",
          "__time_nano__":"1692101000000000000",
          "__time__":"1692101000"
      }

    • Segundo registro de dados de série temporal

      {
          "__labels__":"field1#$#field1|field2#$#field2|method#$#GET|nginx#$#test|tag1#$#tag1|tag2#$#tag2|url#$#/www.a.com",
          "__name__":"status",
          "__value__":"404",
          "__time_nano__":"1692101000000000000",
          "__time__":"1692101000"
      }