Simple Log Service:Gerencie stores

Log

Um log registra eventos ou alterações em um sistema ao longo do tempo. Ele pode representar arquivos de texto, eventos de sistema, BinLogs de banco de dados ou dados de séries temporais. No SLS, um log utiliza um modelo semiestruturado com cinco campos: topic, time, content, source e tags. A tabela a seguir lista os requisitos de formato.

Campo	Descrição	Formato
Topic	O SLS usa o campo reservado __topic__ para identificar o tópico do log e distinguir logs gerados por diferentes services, usuários ou instâncias. Por exemplo, se um sistema contém módulos de processamento de solicitações HTTP front-end, cache, processamento lógico e armazenamento, defina um tópico para os logs de cada módulo (como http_module, cache_module, logic_module e store_module). Após a coleta dos logs no mesmo Logstore, use o tópico para identificar rapidamente sua origem. O tópico do log é normalmente configurado na configuração global do Logtail configurations. A relação entre um Logstore, tópicos e shards é a seguinte:	Uma string de 0 a 128 bytes, incluindo uma string vazia. Se não for necessário distinguir logs dentro de um Logstore, defina o tópico como uma string vazia durante a coleta. Uma string vazia é um tópico válido.
Time	O campo reservado (__time__) identifica o horário do log. Para mais informações, consulte Reserved fields.	Timestamp UNIX.
Content	O conteúdo do log, composto por um ou mais pares Key:Value. Ao usar o Logtail no modo simples (linha única ou multilinha) para coletar logs, o Logtail não analisa o conteúdo do log. Todo o log bruto é carregado no campo content.	A descrição a seguir detalha o formato Key:Value: Key: Uma string UTF-8 de 1 a 128 bytes, composta por letras, dígitos e sublinhados (_). Não pode começar com um dígito. Não é permitido usar os seguintes nomes de campos reservados. __time__ __source__ __topic__ __partition_time__ _extract_others_ __extract_others__ Value: Qualquer string com tamanho máximo de 1 MB.
Source	O campo reservado (__source__) identifica a origem do log, como o endereço IP do servidor que gerou o log.	Uma string de 0 a 128 bytes.
Tags	Tags de log, que incluem: Tags personalizadas: Adicione essas tags ao escrever logs chamando a operação de API PutLogs. Tags de sistema: Tags que o SLS adiciona aos logs, incluindo __client_ip__ e __receive_time__.	Um dicionário de pares chave-valor do tipo string. Em um log, as tags são exibidas com o prefixo __tag__:.

Exemplo

O exemplo a seguir utiliza um log de acesso a site para mostrar o mapeamento entre um log bruto e o modelo de dados no SLS.

• Log bruto

  127.0.0.1 - - [01/Mar/2021:12:36:49  0800] "GET /index.html HTTP/1.1" 200 612 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36

• Log coletado no modo simples. Todo o log bruto é salvo no campo content.

  __source__:192.xxx.xxx.35
  __tag__:__hostname__:iZxxxxxxxxxxxxxxkw0Z
  __tag__:__path__:/opt/log.txt
  __tag__:__receive_time__:1620639668
  __topic__:
  content:127.0.0.1 - - [01/Mar/2021:12:36:49  0800] "GET /index.html HTTP/1.1" 200 612 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.xxx.xxx.6 Safari/537.36

• Log coletado no modo de expressão regular. O conteúdo do log é estruturado pela extração de vários pares chave-valor com base na expressão regular configurada.

  O exemplo analisado de log de acesso Nginx contém os seguintes campos chave-valor:

  • remote_addr: 127.0.0.1

  • request_method: GET

  • request_uri: /index.html

  • request__protocol: HTTP/1.1

  • status: 200

  • body_bytes_sent: 612

  • http_user_agent: Informações do navegador Mozilla/5.0

  • http_referer: -

  • time_local: 01/Mar/2021:12:36:49 +0800

  • __source__: IP de origem do log

  • __tag__:__path__: /opt/log.txt

Métrica

Dados de séries temporais consistem em um identificador de métrica e pontos de dados. Pontos com o mesmo identificador formam uma série temporal. O modelo do SLS é compatível com o modelo de dados do Prometheus. Todos os dados do Metricstore são armazenados como séries temporais.

Exemplo

O exemplo a seguir mostra uma consulta para todos os dados brutos de séries temporais da métrica process_resident_memory_bytes dentro de um intervalo de tempo especificado.

* | select * from "sls-mall-k8s-metrics.prom" where __name__ = 'process_resident_memory_bytes' limit all

O resultado da consulta contém quatro colunas: __name__ (nome da métrica), __labels__ (informações de rótulo, incluindo pares chave-valor como cluster, instance, job, namespace e node), __time_nano__ (timestamp) e __value__ (valor da métrica).

{
    "specversion": "1.0",
    "id": "af****6c",
    "source": "acs:sls",
    "type": "sls.alert",
    "subject": "https://sls.console.alibabacloud.com/lognext/project/demo-alert-chengdu/logsearch/nginx-access-log?encode=base64&endTime=1684312259&queryString=c3RhdHVzID49IDQwMCB8IHNlbGVjdCByZXF1ZXN0X21ldGhvZCwgY291bnQoKikgYXMgY250IGdyb3VwIGJ5IHJlcXVlc3RfbWV0aG9kIA%3D%3D&queryTimeType=99&startTime=1684311959",
    "datacontenttype": "application/cloudevents+json",
    "data": {
        "aliuid": "16****50",
        "region": "cn-chengdu",
        "project": "demo-alert-chengdu",
        "alert_id": "alert-16****96-247190",
        "alert_name": "Nginx Access Error",
        "alert_instance_id": "77****e4-1aad9f7",
        "alert_type": "sls_alert",
        "next_eval_interval": 300,
        "fire_time": 1684299959,
        "alert_time": 1684312259,
        "resolve_time": 0,
        "status": "firing",
        "severity": 10,
        "labels": {
            "request_method": "GET"
        },
        "annotations": {
            "__count__": "1",
            "cnt": "49",
            "desc": "Nginx has had 49 GET request errors in the last five minutes",
            "title": "Nginx Access Error Alert Triggered"
        },
        "results": [
            {
                "region": "cn-chengdu",
                "project": "demo-alert-chengdu",
                "store": "nginx-access-log",
                "store_type": "log",
                "role_arn": "",
                "query": "status >= 400 | select request_method, count(*) as cnt group by request_method ",
                "start_time": 1684311959,
                "end_time": 1684312259,
                "fire_result": {
                    "cnt": "49",
                    "request_method": "GET"
                },
                "raw_results": [
                    {
                        "cnt": "49",
                        "request_method": "GET"
                    },
                    {
                        "cnt": "3",
                        "request_method": "DELETE"
                    },
                    {
                        "cnt": "7",
                        "request_method": "POST"
                    },
                    {
                        "cnt": "6",
                        "request_method": "PUT"
                    }
                ],
                "raw_result_count": 4,
                "truncated": false,
                "dashboard_id": "",
                "chart_title": "",
                "is_complete": true,
                "power_sql_mode": "auto"
            }
        ],
        "fire_results": [
            {
                "cnt": "49",
                "request_method": "GET"
            }
        ],
        "fire_results_count": 1,
        "condition": "Count:[1] > 0; Condition:[49] > 20",
        "raw_condition": "Count:__count__ > 0; Condition:cnt > 20"
    },
    "time": "2023-05-17T08:30:59Z",
    "title": "Nginx Access Error Alert Triggered",
    "message": "Nginx has had 49 GET request errors in the last five minutes",
    "status": "error"
}