Use the scan-based analysis feature of Simple Log Service - Simple Log Service: Central de Documentação do Alibaba Cloud

O Simple Log Service oferece o recurso de análise baseada em varredura. Esse recurso varre logs com base em campos especificados e retorna os resultados da análise, permitindo analisar logs sem a necessidade de configurar índices. Este tópico descreve a sintaxe básica da análise baseada em varredura.

Como funciona

Quando o Simple Log Service recebe uma solicitação de análise baseada em varredura, ele executa as seguintes etapas:

Executa a instrução de pesquisa para consultar logs.

Importante
A instrução de pesquisa exige índices. Por exemplo, antes de executar a instrução status:200 | set session mode=scan;SELECT api, count(*) AS PV GROUP BY api, crie um índice para o campo status. Não é necessário criar um índice para o campo api.
Varre os resultados da consulta da instrução de pesquisa com base nos campos especificados na instrução analítica e extrai dados para esses campos.
Executa a instrução analítica para agregar e analisar os dados extraídos e retorna os resultados da análise.

Sintaxe básica

Ao usar o recurso de análise baseada em varredura, adicione set session mode=scan; antes da instrução analítica baseada na sintaxe SQL padrão.

Search statement | set session mode=scan;Analytic statement based on the standard SQL syntax

Exemplo

* and status:200 | set session mode=scan;SELECT api, count(*) AS PV GROUP BY api

Limites

No modo de análise baseada em varredura, todos os campos são considerados do tipo varchar.

Se precisar analisar campos de outros tipos de dados, use a função cast para converter os tipos de dados. Para mais informações, consulte Cast function.
Por exemplo, para calcular a latência média das operações de API, use a função cast para converter o tipo do campo latency para bigint, pois a função avg requer entrada numérica.
```
status:200 | set session mode=scan;SELECT avg(cast(latency AS bigint)) AS 'Average latency', api GROUP BY api
```
No modo de análise baseada em varredura, o Simple Log Service varre logs para extrair dados dos campos especificados na instrução analítica. Os índices de campo existentes não surtem efeito.
Por exemplo, ao criar um índice do tipo long para o campo status e executar a seguinte instrução para análise baseada em varredura, o índice do campo status não surte efeito.
```
* | set session mode=scan;SELECT count(1) AS pv, api WHERE cast(status AS bigint) = 200 GROUP BY api
```
Nesse cenário, recomendamos o uso da seguinte instrução.

Nota
Se tiver criado um índice para um campo, recomendamos colocá-lo antes da barra vertical (|) como condição de filtro.
```
status:200 | set session mode=scan;SELECT count(1) as pv, api GROUP BY api
```
No modo de análise baseada em varredura, a quantidade de dados analisados é limitada. Em um shard, é possível analisar até 500.000 logs e varrer até 10 milhões de logs. Ao usar uma instrução de pesquisa, o limite de varredura refere-se ao número de logs retornados por ela. Caso um desses limites seja excedido, o sistema retorna os resultados da análise de apenas parte dos logs e exibe um aviso sobre a imprecisão dos resultados.
Use os seguintes métodos para evitar resultados imprecisos:
- Recomendamos usar a análise baseada em índice para dados estruturados em grande escala. Crie índices de campo e ative o recurso de análise de logs.
- Utilize instruções de pesquisa para filtrar logs e reduzir a quantidade de dados a serem varridos. Certifique-se de ter criado índices para os campos especificados nas instruções de pesquisa.
- Reduza o intervalo de tempo da consulta para diminuir a quantidade de dados a serem varridos.
No modo de análise baseada em varredura, a instrução *|select * não é compatível.
Para analisar dados em vários Logstores usando uma cláusula JOIN no modo de análise baseada em varredura, adicione os nomes dos Logstores antes dos campos. Formato: LogstoreName.key.

Comparação entre análise baseada em índice e análise baseada em varredura

Item	Análise baseada em índice	Análise baseada em varredura
Sintaxe	`Search statement \| Analytic statement based on the standard SQL syntax`	`Search statement \| set session mode=scan; Analytic statement based on the standard SQL syntax`
Necessidade de configurar índices	Configure índices para os campos e ative o recurso de análise de logs para eles.	Não é necessário configurar índices nem ativar o recurso. Importante A instrução de pesquisa antes da barra vertical (\|) exige índices.
Sintaxe SQL	Compatível com uma ampla variedade de sintaxes e funções SQL. Para mais informações, consulte Function overview.	Compatível com as sintaxes e funções SQL da análise baseada em índice. Há limites de uso em alguns cenários. Para mais informações, consulte Limits.
Análise	É possível analisar centenas de milhões de linhas de logs. Para mais informações, consulte Overview of log query and analysis. Ative o recurso Dedicated SQL para análises aprimoradas.	É possível analisar milhões de linhas de logs. Para analisar um grande volume de dados, recomendamos usar primeiro uma instrução de pesquisa para filtrar logs. A instrução de pesquisa exige índices.
Tarifas	Há cobrança de tráfego e armazenamento de índices. Para mais informações, consulte Pay-by-feature billable items.	A cobrança de varreduras baseia-se no tráfego de varredura, equivalente à quantidade de dados retornados após a varredura. O sistema identifica logs com base nos resultados da consulta baseada em índice.