Um Ingest Processor analisa dados de log brutos gravados em um LogStore e extrai campos estruturados para consultas e análises. Por exemplo, você pode analisar logs de acesso a sites em linha única e convertê-los em pares chave-valor.
Pré-requisitos
Você deve ter uma instância do Elastic Compute Service (ECS) ativa. Para mais informações, consulte Guia de início rápido do ECS.
O Simple Log Service deve estar ativado. Para mais informações, consulte Ativar o Simple Log Service.
Se você usar um usuário do Resource Access Management (RAM), conceda-lhe permissões para gerenciar Ingest Processors. Para mais informações, consulte Conceder permissões de processamento de dados a um usuário RAM.
Visão geral da solução
O Logtail coleta logs de acesso do Nginx e um Ingest Processor analisa os logs de linha única no formato ${key}:${value} antes de enviá-los a um LogStore.
Coletar logs com o Logtail: Ative o Simple Log Service e use o Logtail para coletar logs do Nginx de um host ECS para um LogStore.
Configurar um Ingest Processor: Configure uma instrução SPL (Structured Process Language) para analisar os logs brutos.
Associar o Ingest Processor: Associe o LogStore ao Ingest Processor. O sistema analisa os novos logs antes de gravá-los no LogStore para consultas e análises.
1. Coletar logs com o Logtail
1,1 Criar um projeto e um LogStore
Acesse o console do Simple Log Service.
-
Crie um projeto.
Na seção Projects, clique em Create Project. Neste exemplo, crie um projeto chamado
web-project-testna regiãoPhilippines (Manila). Para mais informações, consulte Gerenciar projetos.
-
Crie um LogStore.
Após criar o projeto, o sistema solicitará a criação de um LogStore. Neste exemplo, crie um LogStore chamado
website_log. Para mais informações, consulte Gerenciar LogStores.
1,2 Coletar logs de acesso do Nginx
Um site armazena seus logs de acesso do Nginx no arquivo /var/log/nginx/access.log em um host ECS. Por padrão, os logs são gerados em linhas únicas. Veja um exemplo de entrada no arquivo access.log:
192.168.1.75 - David [2024-07-31T14:27:24+08:00] "PUT /request/path-0/file-8 HTTP/1.1" 819 21577 403 73895 www.test5.com www.test2.com "Mozilla/5.0 (Windows NT 5.2; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/13.0.782.41 Safari/535.1"
Use o Logtail para coletar logs do Nginx no host ECS. Para obter o procedimento, consulte Coletar logs de texto de um host. Colete os logs de /var/log/nginx/access.log para website_log. A figura a seguir mostra a página LogSearch.

Você também pode usar um SDK para coleta de dados. Para mais informações, consulte Guia de início rápido do SDK para Java e Visão geral da coleta de dados.
2. Configurar um Ingest Processor
2,1 Acessar a página Data Processors
-
Na seção Projects, clique em
web-project-test.
-
No painel de navegação à esquerda, clique em .

2,2 Criar um Ingest Processor
-
Na aba , clique em Create.

-
No painel Create Processor, configure os parâmetros conforme mostrado na figura a seguir e clique em OK.

Este exemplo utiliza a seguinte configuração SPL. O Ingest Processor usa SPL para processar dados. Para mais informações, consulte Sintaxe SPL.
* | parse-regexp content, '(\S+)\s-\s(\S+)\s\[(\S+)\]\s"(\S+)\s(\S+)\s(\S+)"\s(\d+)\s(\d+)\s(\d+)\s(\d+)\s(\S+)\s(\S+)\s"(.*)"' as remote_addr, remote_user, time_local, request_method, request_uri, http_protocol, request_time, request_length, status, body_bytes_sent, host, referer, user_agent | project-away content | extend __topic__ = request_method
3. Associar o Ingest Processor
3,1 Associar o Ingest Processor ao LogStore
-
No painel de navegação à esquerda, clique em Log Storage. Passe o ponteiro do mouse sobre
website_loge clique em .
-
Na página de propriedades de
website_log, clique em Modify no canto superior direito. No modo de edição, defina Ingest Processor como o processadorParse Nginx logscriado anteriormente e clique em Save.
3,2 Consultar e analisar logs
No painel de navegação à esquerda, clique em Log Storage. Na página LogSearch, visualize os logs analisados.
O Ingest Processor aplica-se apenas a novos logs após a associação. Aguarde cerca de um minuto para que os logs analisados apareçam na página LogSearch.

Referências
Para gerenciar Ingest Processors, consulte Gerenciar Ingest Processors.
Para mais informações sobre coleta de logs, consulte Visão geral da coleta de dados.
Os Ingest Processors usam SPL para processar dados. Para mais informações, consulte Sintaxe SPL.