Simple Log Service:Sintaxe de consulta baseada em varredura

Ao executar uma consulta baseada em varredura, o SLS:

1. Execute a instrução de pesquisa para recuperar logs.

   Importante

   A instrução de pesquisa no pipeline de primeiro nível depende de consultas baseadas em índices. Use * se nenhuma filtragem por índice for necessária. Por exemplo, antes de executar status:200 | WHERE userId = '123' | extend host=upper(hostname), crie um índice para o campo status, mas não para os campos userId ou hostname.

2. Aplica instruções SPL aos resultados da pesquisa para filtrar, converter e analisar dados e, em seguida, retorna a saída final.

• Campos brutos: rotulados com [R], aplicáveis à pesquisa por varredura.

• Campos de índice: rotulados com [I], aplicáveis à pesquisa por índice.

[I] __topic__: nginx-access-log
[I] Status: 200
[I] Host: api.abc.com
[R] Method: PUT
[R] ClientIp: 192.168.1.1
[R] Payload: {"Item": "1122", "UserId": "112233", "Operation": "AddCart"}
[R] BeginTime: 1705029260
[R] EndTime: 1705028561
[R] RT: 87
[R] Uri: /request/path-3/file-1
[R] UserAgent: Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_5; ar) AppleWebKit/533.19.4 (KHTML, like Gecko) Version/5.0.3 Safari/533.19.4

Filtrar por diferentes condições

• Comparação de igualdade

  Status: 200 | where ClientIp = '192.168.1.1'

• Pesquisa sem distinção entre maiúsculas e minúsculas

  __topic__: nginx-access-log | where lower(Method) != 'put'

• Correspondência aproximada

  Status: 200 | where UserAgent like '%Macintosh%'

• Comparação numérica

  Por padrão, os campos têm o tipo varchar. Converta-os para bigint ao comparar valores numéricos.

  Status: 200 |  where cast(RT as bigint) > 50

• Correspondência de expressão regular

  # Find URIs that contain "path-number"
  Status: 200 | where regexp_like(Uri, 'path-\d+')

Calcular novos campos

Calcule novos campos a partir dos existentes usando a instrução extend instruction.

• Extraia campos usando expressões regulares

  # Extract the file number from the Uri field
  * not Status: 200 | extend fileNumber=regexp_extract(Uri, 'file-(\d+)', 1)

• Extraia campos de JSON

  Status:200 | extend Item = json_extract_scalar(Payload, '$.Item')

• Extraia campos com base em um separador

  Status:200 | extend urlParam=split_part(Uri, '/', 3)

• Calcule novos campos a partir de vários valores de campo

  # Calculate the time difference based on BeginTime and EndTime
  Status:200 | extend timeRange = cast(BeginTime as bigint) - cast(EndTime as bigint)

Manter, remover e renomear campos

• Mantenha apenas campos específicos e remova os demais

  Status:200 | project Status, Uri

• Remova campos específicos e mantenha os demais

  Status:200 | project-away UserAgent

• Renomeie campos

  Status:200 | project-rename Latency=RT

Expandir dados não estruturados

• Expanda todos os campos em JSON

  # Filter non-empty Payloads and expand all JSON fields
  __topic__: nginx-access-log | where Payload is not null | parse-json Payload

• Expanda os campos JSON e descarte os originais

  status:200 
  | parse-json body 
  | project-away body

• Extraia vários campos usando expressões regulares

  Status:200 | parse-regexp Uri, 'path-(\d+)/file-(\d+)' as pathIndex, fileIndex

Cascata de pipeline de vários níveis

Combine as operações acima em uma única instrução usando cascatas de pipeline de vários níveis, executadas em sequência.

Status:200 
| where Payload is not null 
| parse-json Payload 
| project-away Payload 
| where Host='api.qzzw.com' and cast(RT as bigint) > 80 
| extend timeRange=cast(BeginTime as bigint) - cast(EndTime as bigint)
| where timeRange > 500
| project UserId, Uri