Consultar e analisar logs usando um padrão de índice - Simple Log Service: Central de Documentação do Alibaba Cloud

Antes de começar

Simple Log Service oferece recursos de consulta e análise de logs. Primeiros passos com consulta e análise de logs.
Colete os logs em um repositório de logs Standard (Gerenciar um repositório de logs). Após criar um índice, as consultas e análises se aplicam apenas aos logs incrementais. Para consultar arquivos de logs históricos, reindexe-os.
Para consultar dezenas de bilhões de logs, consulte O que fazer quando a mensagem de erro "Os resultados são imprecisos" aparece no console?.
Simple Log Service inclui campo reservados por padrão. Campos reservados descreve como analisá-los.

Consulta e análise

Simple Log Service permite consultar bilhões de logs em segundos e analisar os resultados com SQL. Uma instrução de pesquisa pode ser executada sozinha, mas uma instrução analítica deve seguir uma instrução de pesquisa para analisar os resultados da consulta ou o conjunto completo de dados.

Nota

SLS Query Skill para consulta e análise inteligente de logs: Simple Log Service oferece um Agent Skill para consultar e analisar dados de logs do SLS com linguagem natural em um AI Agent local.

Sintaxe básica

Uma consulta consiste em uma instrução de pesquisa e uma instrução analítica opcional, separadas por uma barra vertical (|). Uma instrução de pesquisa pode ser executada sozinha, mas uma instrução analítica deve seguir uma instrução de pesquisa.

Search statement | Analytic statement

Tipo	Descrição
Instrução de pesquisa	Uma instrução de pesquisa especifica regras de filtragem e retorna os logs correspondentes. O formato da consulta é `Instrução de pesquisa`, por exemplo: `status: 200`. As condições de pesquisa incluem palavras-chave, números, intervalos numéricos, espaços e asteriscos (``). Um espaço ou asterisco (``) corresponde a todos os logs. Sintaxe e recursos de consulta. Importante Use no máximo 30 condições em uma instrução de pesquisa.
Instrução analítica	Para usar análises, colete os logs em um repositório de logs Standard e ative Ativar Análise para os campos necessários ao configurar o índice. Uma instrução analítica calcula e analisa os resultados da consulta ou o conjunto completo de dados. Funções e sintaxe suportadas: Funções SQL: funções SQL são geralmente usadas para calcular, transformar e formatar dados — somas, médias, operações de string e processamento de datas. Cláusulas SQL: cláusulas SQL compõem instruções completas de consulta ou manipulação de dados. Elas definem a fonte de dados, condições, agrupamento, ordenação e mais. Subconsultas aninhadas: uma subconsulta aninhada é uma instrução SELECT dentro de outra SELECT, usada para análises complexas. Consulta federada e análise de dados do Logstore e MySQL: realize consultas federadas entre dados do Logstore e MySQL com a sintaxe `JOIN` e salve os resultados no MySQL. Usar SPL para consultar e analisar logs: use a SLS Processing Language (SPL) para extrair informações estruturadas, manipular campos e filtrar dados de logs. Importante Por padrão, uma instrução analítica analisa os dados do repositório de logs atual. As cláusulas `FROM` e `WHERE` não são obrigatórias. Instrução analíticas não diferenciam maiúsculas de minúsculas, não aceitam o parâmetro `offset` e não exigem ponto e vírgula ao final.

Simple Log Service disponibiliza arquivos de gramática ANTLR para o desenvolvimento de aplicações personalizadas com base em consultas SLS.

Arquivos de gramática ANTLR:

Exemplo

* | SELECT status, count(*) AS PV GROUP BY status

Na aba Gráfico Estatístico, os resultados da consulta e análise são exibidos como um gráfico de linhas mostrando a distribuição de PV dos códigos de status HTTP (499, 200, 301, 302, 304, 400). O painel Configuração Geral à direita permite alternar os tipos de gráfico e configurar os campos dos eixos x e y.

Recursos avançados

LiveTail: monitore logs em tempo real para reduzir a carga de O&M.
LogReduce: extraia padrões de logs semelhantes durante a coleta para uma visão geral rápida dos dados de logs.
Consulta contextual: visualize o contexto dos logs para solucionar problemas.
Análise de campos: visualize a distribuição de campos, métricas estatísticas e gráficos de séries temporais dos cinco principais.
Configuração de eventos: configure eventos para extrair detalhes dos logs brutos.
Visão geral do StoreView: use o StoreView para realizar consultas federadas entre regiões e repositórios.

Limites de consulta

Item	Descrição
Número de palavras-chave	Até 30 condições por consulta, excluindo operadores lógicos.
Tamanho do valor do campo	Tamanho máximo do valor de um único campo: 512 KB. O conteúdo que ultrapassar esse limite não será indexado. Logs com valores de campo superiores a 512 KB podem não aparecer nas pesquisas por palavra-chave, mas os dados do log permanecem intactos. Nota Para configurar o comprimento máximo do valor do campo, consulte Por que os valores dos campos são truncados durante a consulta e análise?
Operações simultâneas	Um único projeto suporta até 100 consultas simultâneas. Por exemplo, 100 usuários podem consultar diferentes repositório de logss no mesmo projeto simultaneamente.
Resultados retornados	Até 100 resultados por página. Navegue pelas páginas para ver todos os resultados.
Pesquisa aproximada	Durante uma pesquisa aproximada, o Simple Log Service corresponde até 100 termos e retorna os logs que contêm esses termos e atendem aos critérios de pesquisa. Pesquisa aproximada.
Ordenação dos resultados	Os resultados são ordenados por tempo em ordem decrescente, com precisão de segundos ou nanossegundos.

Limites

Limite	Instância de uso geral	SQL Dedicado
Limite	Instância de uso geral	Aprimoramento de SQL	Precisão Total
Simultaneidade	Até 15 consultas simultâneas por projeto.	Até 100 consultas simultâneas por projeto.	Até 5 consultas simultâneas por projeto.
Volume de dados	Até 400 MB por consulta (excluindo dados em cache). Dados excedentes são truncados com um marcador de resultado de consulta incompleto.	Até 2 GB por consulta (excluindo dados em cache). Dados excedentes são truncados com um marcador de resultado de consulta incompleto.	Ilimitado.
Ativação do modo	Ativado por padrão.	Ative pelo interruptor. Aprimoramento de SQL.	Ative pelo interruptor. Precisão total de SQL.
Taxa	Gratuito.	Cobrado com base no tempo de CPU real utilizado.	Cobrado com base no tempo de CPU real utilizado.
Efetividade dos dados	Aplica-se apenas aos dados gravados após a ativação do recurso. Para analisar dados históricos, é necessário reindexar os dados.	Aplica-se apenas aos dados gravados após a ativação do recurso. Para analisar dados históricos, é necessário reindexar os dados.	Aplica-se apenas aos dados gravados após a ativação do recurso. Para analisar dados históricos, é necessário reindexar os dados.
Resultados retornados	Por padrão, uma consulta retorna até 100 linhas e 100 MB. Consultas que ultrapassam 100 MB retornam um erro. Para retornar mais dados, use a cláusula LIMIT.	Por padrão, uma consulta retorna até 100 linhas e 100 MB. Consultas que ultrapassam 100 MB retornam um erro. Para retornar mais dados, use a cláusula LIMIT.	Por padrão, uma consulta retorna até 100 linhas e 100 MB. Consultas que ultrapassam 100 MB retornam um erro. Para retornar mais dados, use a cláusula LIMIT.
Tamanho do valor do campo	O comprimento máximo padrão do valor do campo é 2 KB (2.048 bytes), configurável até 16 KB (16.384 bytes). O conteúdo que ultrapassar o limite é excluído da análise e da recuperação. Nota Para alterar o limite, defina Comprimento Máximo do Campo de Texto. A configuração atualizada aplica-se apenas aos dados incrementais. Criar um índice.	O comprimento máximo padrão do valor do campo é 2 KB (2.048 bytes), configurável até 16 KB (16.384 bytes). O conteúdo que ultrapassar o limite é excluído da análise e da recuperação. Nota Para alterar o limite, defina Comprimento Máximo do Campo de Texto. A configuração atualizada aplica-se apenas aos dados incrementais. Criar um índice.	O comprimento máximo padrão do valor do campo é 2 KB (2.048 bytes), configurável até 16 KB (16.384 bytes). O conteúdo que ultrapassar o limite é excluído da análise e da recuperação. Nota Para alterar o limite, defina Comprimento Máximo do Campo de Texto. A configuração atualizada aplica-se apenas aos dados incrementais. Criar um índice.
Comprimento da instrução de consulta	O parâmetro query da API `GetLogs` tem limite de 65.536 bytes (64 KB). Consultas que ultrapassam esse limite retornam um erro `ParameterInvalid`: "The length of query cannot be greater than 65536". Divida consultas longas em várias consultas menores e execute-as em lotes. Este limite se aplica tanto a instâncias de uso geral quanto ao SQL Dedicado.
Tempo limite	Tempo limite máximo: 55 segundos.	Tempo limite máximo: 55 segundos.	Tempo limite máximo: 55 segundos.
Número de bits para valores de campo do tipo double	Máximo de 52 bits para valores de campo do tipo double. Números de ponto flutuante codificados com mais de 52 bits perdem precisão.	Máximo de 52 bits para valores de campo do tipo double. Números de ponto flutuante codificados com mais de 52 bits perdem precisão.	Máximo de 52 bits para valores de campo do tipo double. Números de ponto flutuante codificados com mais de 52 bits perdem precisão.

Simple Log Service:Consulta e análise baseada em índice