Simple Log Service:Utiliser le langage SPL pour interroger et analyser les journaux

Index-based search statement | <spl-cmd> ... | <spl-cmd> ...

• Champs bruts : identifiés par [R], applicables à la recherche en mode analyse.

• Champs indexés : identifiés par [I], applicables à la recherche en mode index.

[I] __topic__: nginx-access-log
[I] Status: 200
[I] Host: api.abc.com
[R] Method: PUT
[R] ClientIp: 192.168.1.1
[R] Payload: {"Item": "1122", "UserId": "112233", "Operation": "AddCart"}
[R] BeginTime: 1705029260
[R] EndTime: 1705028561
[R] RT: 87
[R] Uri: /request/path-3/file-1
[R] UserAgent: Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_5; ar) AppleWebKit/533.19.4 (KHTML, like Gecko) Version/5.0.3 Safari/533.19.4

Filtrer selon différentes conditions​

• Comparaison d'égalité

  Status: 200 | where ClientIp = '192.168.1.1'

• Recherche insensible à la casse

  __topic__: nginx-access-log | where lower(Method) != 'put'

• Correspondance floue

  Status: 200 | where UserAgent like '%Macintosh%'

• Comparaison numérique

  Les champs sont par défaut de type varchar. Convertissez-les en bigint pour effectuer des comparaisons numériques.

  Status: 200 |  where cast(RT as bigint) > 50

• Correspondance par expression régulière

  # Find URIs that contain "path-number"
  Status: 200 | where regexp_like(Uri, 'path-\d+')

Calculer de nouveaux champs

​ Calculez de nouveaux champs à partir de champs existants en utilisant l'instruction extend.

• Extraire des champs à l'aide d'expressions régulières

  # Extract the file number from the Uri field
  * not Status: 200 | extend fileNumber=regexp_extract(Uri, 'file-(\d+)', 1)

• Extraire des champs depuis un format JSON

  Status:200 | extend Item = json_extract_scalar(Payload, '$.Item')

• Extraire des champs en fonction d'un séparateur

  Status:200 | extend urlParam=split_part(Uri, '/', 3)

• Calculer de nouveaux champs à partir de plusieurs valeurs de champ

  # Calculate the time difference based on BeginTime and EndTime
  Status:200 | extend timeRange = cast(BeginTime as bigint) - cast(EndTime as bigint)

Conserver, supprimer et renommer des champs​

• Conserver uniquement des champs spécifiques et supprimer les autres

  Status:200 | project Status, Uri

• Supprimer des champs spécifiques et conserver les autres

  Status:200 | project-away UserAgent

• Renommer des champs

  Status:200 | project-rename Latency=RT

Développer des données non structurées

• Développer tous les champs d'un objet JSON

  # Filter non-empty Payloads and expand all JSON fields
  __topic__: nginx-access-log | where Payload is not null | parse-json Payload

• Développer les champs JSON et ignorer les champs d'origine

  status:200 
  | parse-json body 
  | project-away body

• Extraire plusieurs champs à l'aide d'expressions régulières

  Status:200 | parse-regexp Uri, 'path-(\d+)/file-(\d+)' as pathIndex, fileIndex

Mise en cascade de pipeline à plusieurs niveaux

Combinez les opérations ci-dessus dans une seule instruction en utilisant la mise en cascade de pipeline à plusieurs niveaux, qui s'exécute séquentiellement.

Status:200 
| where Payload is not null 
| parse-json Payload 
| project-away Payload 
| where Host='api.qzzw.com' and cast(RT as bigint) > 80 
| extend timeRange=cast(BeginTime as bigint) - cast(EndTime as bigint)
| where timeRange > 500
| project UserId, Uri

Procédure

Console

Connectez-vous à la console Simple Log Service. Sur la page de requête et d'analyse de votre Logstore, exécutez une requête. Démarrage rapide pour la requête et l'analyse des journaux.

Exemple

Supposons qu'il existe 10 millions de journaux bruts. La requête Status:200 | where Category like '%xx%' renvoie 1 000 journaux correspondant à la fois à Status:200 et à where Category like '%xx%'. L'histogramme affiche la distribution de ces journaux dans le temps.

API

Appelez l'opération GetLogs ou GetLogsV2 pour interroger les journaux. GetLogs renvoie des résultats non compressés ; GetLogsV2 renvoie des résultats compressés.