How to query log information - Web Application Firewall: Central de Documentação do Alibaba Cloud

Após ativar a coleta de logs para os objetos protegidos do Web Application Firewall (WAF), você pode consultar e analisar os dados de log, além de usar os resultados para gerar gráficos, criar alertas, entre outras ações.

Pré-requisitos

O service de logs do WAF está ativado. Para mais informações, consulte {{XREF_0}}.
Existe um objeto protegido (sua aplicação web já está integrada ao WAF). Para mais informações, consulte {{XREF_1}}.
A entrega de logs está ativada para os seus objetos protegidos do WAF. Para mais informações, consulte {{XREF_2}}.

Consultar e analisar logs

Faça logon no Web Application Firewall 3.0 console. Na barra de menu superior, selecione o grupo de recursos e a região (Chinese Mainland ou Outside Chinese Mainland) da instância do WAF.
No painel de navegação à esquerda, escolha Detection and Response > Log Service.
No canto superior esquerdo da página Log Service, selecione o objeto protegido cujos logs você deseja consultar.

Importante
A coleta de logs deve estar ativada para o objeto protegido (o switch Status está ativado). Caso contrário, o WAF não poderá coletar seus dados de log. Se a coleta de logs não estiver ativada para o objeto protegido selecionado, pesquise o objeto na página atual, clique em seu nome e ative o switch Status para ativar a coleta de logs.

Na aba Log Query, use uma instrução de consulta e análise para consultar e analisar os dados de log do WAF.

Insira uma instrução de consulta no editor de consultas.

As instruções de consulta usam a sintaxe específica do Alibaba Cloud Simple Log Service (SLS). Para mais informações, consulte {{XREF_3}}. Sua instrução de consulta pode usar campos dos logs do WAF como campos de consulta. Para obter uma lista dos campos suportados, consulte {{XREF_4}}.

Se você não estiver familiarizado com a sintaxe de consulta, recomendamos o uso da Advanced Search. Expanda a Advanced Search acima do editor de consultas, defina suas condições de pesquisa e clique em Search. Uma instrução de consulta correspondente é gerada automaticamente no editor de consultas. A tabela a seguir descreve as condições de pesquisa disponíveis na Advanced Search.

Search condition	Description
IP	O endereço IP do cliente que enviou a solicitação.
Request ID	Um identificador exclusivo que o WAF gera para uma solicitação de cliente. O WAF fornece esse ID ao retornar uma página de bloqueio ou uma resposta de CAPTCHA de controle deslizante. Você pode usar o ID da solicitação para analisar e solucionar problemas.
Rule ID	O ID da regra de proteção do WAF que foi correspondida. Você pode encontrar o ID da regra na página Protection Rule ou nos registros de correspondência e estatísticas na página Security Reports. Para mais informações, consulte {{XREF_5}}.
Status Code Returned from Origin Server	O código de status HTTP que o servidor de origem retorna para uma solicitação encaminhada pelo WAF.
Status Code Returned from WAF	O código de status HTTP que o WAF retorna ao cliente.
Protection Module	O módulo de proteção do WAF que foi correspondido. Para mais informações sobre os módulos de proteção do WAF e como configurar suas regras, consulte {{XREF_6}}.

Para calcular ou analisar os resultados da consulta, adicione uma instrução de análise após a instrução de consulta existente no editor de consultas. Se você precisar apenas consultar logs que atendam a critérios específicos, poderá ignorar esta etapa.

Use o caractere pipe (|) para separar a instrução de consulta da instrução de análise. As instruções de análise usam a sintaxe padrão SQL-92. Para mais informações, consulte {{XREF_7}}.
Use o seletor de horário para definir um intervalo de tempo para os logs que você deseja consultar.
Clique em Search & Analyze.

Os resultados da consulta e análise (logs do WAF que correspondem às suas condições de consulta) aparecem na parte inferior da página, incluindo um histograma de distribuição de logs e as abas Raw Logs, Graph e LogReduce. Você pode usar esses resultados para analisar rapidamente, gerar gráficos, configurar alertas, entre outras ações. Para mais detalhes, consulte {{XREF_8}}.

Exemplos comuns de consulta

Os exemplos a seguir mostram cenários comuns de consulta e análise para logs do WAF. Defina o intervalo de tempo usando o seletor de horário na parte superior do console; não é necessário incluir condições de filtro de tempo na instrução de consulta.

Nota

Substitua os nomes de domínio, endereços IP e outros valores nos exemplos a seguir pelos seus valores reais.

Consultar os 10 principais IPs de acesso:

host:example.com |SELECT real_client_ip,COUNT(*) as c group by real_client_ip order by c desc limit 10

Consultar as 10 principais URLs de acesso:

host:example.com |SELECT request_path,COUNT(*) as c group by request_path order by c desc limit 10

Consultar as URLs acessadas por um IP específico (quando um domínio está sob ataque CC, os endpoints alvo geralmente são concentrados):
```
host:example.com and real_client_ip:1.2.3.4 |SELECT request_path,COUNT(*) as c group by request_path order by c desc limit 10
```
Consultar os 10 principais IPs que acessam um endpoint específico (durante um ataque, os IPs maliciosos geralmente aparecem no topo):
```
host:example.com and request_path: "/login.php" |SELECT real_client_ip,COUNT(*) as c group by real_client_ip order by c desc limit 10
```
Consultar códigos de status (use códigos de status anormais para verificar se sua aplicação está funcionando normalmente):
```
host:example.com|select status, upstream_status,COUNT(*) as c GROUP by status, upstream_status order by c desc limit 10
```

Encontrar IPs que acionaram o módulo de proteção CC:

host:example.com and final_plugin:cc |select real_client_ip,COUNT(*) as c group by real_client_ip order by c desc limit 10

Exportar resultados da consulta

Após executar uma consulta, clique em Download Log na aba Raw Logs para exportar os dados de log brutos dos resultados da consulta atual como um arquivo CSV.

Nota

A aba Graph não oferece suporte para o download direto da tabela de dados.

Recomendações para análise de logs em grande escala

Quando o volume de dados de log do WAF é grande (por exemplo, mais de um milhão de registros), não recomendamos a exportação de todos os logs brutos para processamento local. Em vez disso, use o recurso de análise SQL na página Log Query para executar cálculos agregados na cloud e baixe apenas os resultados.

Por exemplo, para contar o número de ocorrências de cada regra de proteção:

* | SELECT matched_host, final_action, COUNT(*) as c GROUP BY matched_host, final_action ORDER BY c DESC LIMIT 1000

Para contar o volume de solicitações de cada domínio dentro de um intervalo de tempo específico:

* | SELECT host, COUNT(*) as pv GROUP BY host ORDER BY pv DESC LIMIT 100

Use funções de agregação SQL como GROUP BY, COUNT e SUM para executar cálculos na cloud. Isso melhora significativamente a eficiência da análise para grandes conjuntos de dados e evita problemas de tempo limite ou arquivos muito grandes que podem ocorrer ao exportar todos os logs brutos.

Página Query & Analysis

Visão geral da página

A página de consulta de logs brutos do Simple Log Service (SLS) consiste principalmente nas seguintes áreas:

Barra de pesquisa superior: insira uma instrução de consulta (SQL, SPL ou Copilot); à direita, selecione um intervalo de tempo (como Last 1 Minute).
Visão geral dos resultados da pesquisa: mostra o número de entradas de log correspondentes (7.246 no exemplo) e um histograma de distribuição de tempo.
Área de abas: contém as abas Raw Logs, Statistical Charts e LogReduce, e permite alternar entre as visualizações de tabela e dados brutos, ativar ou desativar a quebra de linha e configurar a paginação.
Painel Displayed Fields à esquerda: lista os campos indexados, como @timestamp, host, remote_addr, request_method, status e uri.
Área principal: mostra os detalhes estruturados de chave-valor de cada entrada de log, incluindo campos de log de acesso do Nginx, como carimbo de data/hora, IP de origem, nome do host, método de solicitação, URI da solicitação e código de status da resposta.

Histograma

Passe o mouse sobre um bloco verde para visualizar seu intervalo de tempo e a contagem de ocorrências.
Clique duas vezes em um bloco verde para detalhar uma granularidade de tempo mais fina. Os resultados para esse intervalo de tempo aparecem na aba Raw Logs.

Logs brutos

Detalhes do log
- Clique em Table ou Raw Data para alternar o formato de exibição do log.
- > Download Log: Baixe os logs para o seu computador. {{XREF_9}}.
- > JSON Settings: Defina o tipo e o nível de exibição para logs JSON.
- > Event Settings: {{XREF_10}} para logs brutos.
- : Copie o conteúdo do log.
- : Resuma informações e identifique erros no conteúdo do log usando o SLS Copilot.
- : Visualize uma entrada de log no contexto de seu arquivo original. Disponível apenas para logs coletados pelo Logtail. {{XREF_11}}.
- : Monitore logs em tempo real e extraia informações importantes. Disponível apenas para logs coletados pelo Logtail. {{XREF_12}}.
Campos exibidos
- Na seção Displayed Fields, clique no ícone ao lado de um campo para removê-lo dos Displayed Fields. O campo deixará de aparecer nos logs à direita.
- : Salve a seleção de campos atual como favorita. Após configurar os campos a serem exibidos na Área 5, selecione uma visualização salva na lista suspensa acima da Área 4.
- > Tag Settings: Defina um campo como uma tag do sistema.
- > Alias: Quando ativado, os nomes dos campos são substituídos por seus aliases. Os campos sem aliases mantêm seus nomes originais. Defina os aliases dos campos em {{XREF_13}}.
Campos de índice
- Na seção Indexed Fields, clique no ícone ao lado de um campo para adicioná-lo aos Displayed Fields. O campo passará a aparecer nos logs à direita.
- : Visualize a Basic Distribution e as Statistical Metrics do campo. {{XREF_14}}.

Gráfico

Um gráfico renderiza a saída visual de uma instrução de consulta e análise. O Simple Log Service oferece suporte a tabelas, gráficos de linhas, gráficos de colunas, entre outros. {{XREF_15}}. Visualize os resultados na aba Graph.

Outros recursos nesta aba:

Add to New Dashboard: Salve os resultados da consulta e análise como um gráfico em um painel para monitoramento em tempo real. Clique em Add to New Dashboard para adicionar um gráfico. {{XREF_16}}.
Save as Scheduled SQL Job: Analise dados periodicamente, armazene resultados agregados e filtre ou projete campos. {{XREF_17}}.
Interaction Occurrences: Detalhe os dados ajustando a hierarquia de dimensões e a granularidade da análise. {{XREF_18}}.

LogReduce

Na aba LogReduce, clique em Enable LogReduce para agregar logs altamente semelhantes durante a coleta. {{XREF_19}}.

Aprimoramento de SQL

Clique no ícone no canto superior direito e ative o Dedicated SQL para a sessão atual. O Dedicated SQL aloca recursos de computação adicionais para analisar volumes de dados maiores por consulta. Para ativar o Dedicated SQL por padrão: {{XREF_20}}.

Alertas

Clique no ícone no canto superior direito e selecione Save as Alert para criar uma regra de alerta com base nos resultados da consulta e análise. {{XREF_21}}.

Pesquisa salva

Clique no ícone no canto superior direito e use a opção Save as Saved Search para a instrução de consulta e análise atual. Use as pesquisas salvas para executar novamente consultas frequentes de forma rápida. {{XREF_22}}.

Clique no ícone no canto superior direito para copiar e compartilhar a URL da página atual. {{XREF_23}}.

Web Application Firewall:Query logs