Simple Log Service:Perguntas frequentes sobre consulta e análise

Identificar a máquina de origem de um log

• As configurações do Logtail são aplicadas a um grupo de máquinas. Se o grupo de máquinas for um IP address-based machine group, use endereços IP internos para distinguir as máquinas.

• Após crie um índice, o Simple Log Service indexa __tag__:__hostname__ por padrão. Para consultar, insira __tag__:__hostname__:XXX. O campo __tag__ é um reserved field. Exemplo: contar ocorrências de cada hostname.

  * | select '__tag__:__hostname__' , count(1) as count group by '__tag__:__hostname__'

Buscar endereços IP nos logs

• Para consultar um endereço IP específico:

  __tag__:__client_ip__:192.0.2.1

• Para consultar logs de endereços IP que começam com 192.0.2:

  __source__:192.0.2.*

• Para consultar logs que contenham um endereço IP correspondente a 192.168.XX.XX, também é possível usar expressões regulares para uma fuzzy query.

  * | select * from log where key like '192.168.%.%'

Consulta com múltiplas condições

Combine instruções de consulta para filtrar com várias condições.

Por exemplo, para excluir logs com status OK ou Unknown, busque por not OK not Unknown.

Métodos de consulta de log

O Simple Log Service oferece três métodos de consulta de log:

• Consulte e analise logs no console. Quick start for query and analysis.

• Use um SDK para consultar logs. SDK reference overview.

• Utilize a API RESTful para consultar logs. Query logs in a Logstore.

Solucionar falha ou tempo limite na análise SQL

Um firewall de rede no lado do cliente pode bloquear solicitações que contenham palavras-chave de análise SQL.

Tente alterar o endpoint do service para HTTPS.

Truncamento de valor de campo

O Simple Log Service limita o comprimento do valor de campo da seguinte forma:

• Nas consultas, o comprimento máximo do valor de campo é de 512 KB (524.288 bytes). O conteúdo que exceder esse limite será excluído dos resultados da consulta.

• Na análise, o comprimento máximo padrão do valor de campo é de 2 KB (2.048 bytes), configurável até 16 KB (16.384 bytes).

Defina o comprimento máximo para um campo

Essa alteração se aplica apenas a novos dados de log. Os dados existentes não são afetados.

1. Faça login no console do Simple Log Service.

2. Na seção Projects, clique em no projeto desejado.

   

3. Na aba Log Storage > Logstores, clique em no Logstore desejado.

   

4. Clique em Query & Analysis > Properties.

5. Na parte inferior da página Query & Analysis, defina Maximum Length for Statistical Fields (text) com um valor entre 64 e 16.384 bytes.

Visualize conteúdo completo de campos em logs históricos

Na consulta e análise, a alteração do comprimento máximo para campos estatísticos aplica-se apenas a novos dados de log. Não é possível restaurar valores de campo truncados em logs históricos. Para visualizar o conteúdo completo dos campos em logs históricos, utilize um dos seguintes métodos:

• Raw Logs: Na página de consulta do Logstore, clique em na aba Raw Logs. A opção Raw Logs não trunca o conteúdo dos campos. Para valores de campo longos, clique em Expand para visualizar os valores completos dos campos content e attribute.

• Exportação de log: Nos resultados da consulta SQL, clique em Download Logs para exportar os logs como um arquivo CSV ou JSON. O arquivo exportado contém o conteúdo completo dos campos.

• Modo de varredura: Consulte logs no modo de varredura para evitar o truncamento de campos. Em uma chamada de API, defina o parâmetro scan como true. No console, utilize o recurso de varredura. Para obter instruções, consulte scan-based analysis e Scan logs.

Analisar campos não indexados

Para analisar um campo não indexado, use um dos seguintes métodos:

• Criar ou reindexar dados

  • Para analisar novos logs, crie um índice para o campo de destino e ative as estatísticas.

  • Para analisar logs históricos, reindex the data e ative as estatísticas.

• Ativar o modo de varredura

  Se não for possível criar um índice, use a scan-based analysis para consultar logs sem índices. Scan logs.

Alterar o número de linhas retornadas

O Simple Log Service adiciona limit 100 por padrão. Use a LIMIT clause para alterar o número de linhas retornadas.

Quais são as diferenças entre índices do SLS e índices de banco de dados? O SLS pode identificar automaticamente informações do usuário?

Diferenças entre índices do SLS e índices de banco de dados

Os índices do SLS e os índices de banco de dados (como os do MySQL ou PostgreSQL) têm propósitos semelhantes, mas diferem na implementação e nos casos de uso:

• Índices do SLS: Utilizados para acelerar consultas e análises de log. O SLS fornece FullText Index para busca tokenizada em todo o conteúdo e Key/Value Index para recuperação de campos estruturados, oferecendo suporte a buscas por palavras-chave e análise SQL.

• Índices de banco de dados: Geralmente baseados em estruturas de dados B-tree, projetados para acelerar a localização de registros específicos em tabelas de banco de dados. Eles não são adequados para busca de texto completo e análise em tempo real de dados de log em grande escala.

O SLS pode identificar e correlacionar automaticamente informações do usuário nos logs?

O SLS não identifica nem correlaciona automaticamente informações do usuário nos logs. As informações do usuário devem existir como um campo de log para que o SLS possa consultar, analisar ou baixe dados com base nesse campo. Se não houver nenhum campo contendo informações do usuário nos logs, o SLS não conseguirá determinar a qual usuário os logs pertencem.

Para consultar logs por usuário, inclua as informações do usuário como um campo de log durante a coleta. Em seguida, crie um índice para o campo e ative a análise na configuração do índice.