Simple Log Service:Coletar logs de texto de servidores

Procedimento:

1. Na página Logstores, clique no ícone antes do nome do Logstore de destino para expandi-lo.

2. Clique no ícone ao lado de Data Collection e, na caixa de diálogo Quick Data Import, selecione um modelo de coleta de log de texto (como Single Line - Text Log) e clique em Integrate Now.

   Todos os modelos de log de texto compartilham a mesma configuração e diferem apenas nos plugins de análise. Você pode modificar a configuração posteriormente.

3. Na página Machine Group Configurations, configure os seguintes parâmetros:

   • Scenario: Servers

   • Installation Environment: ECS

   • Selecionar grupo de máquinas: Com base no status de instalação do LoongCollector e na configuração do grupo de máquinas do servidor de destino, selecione a operação correspondente:

     • Se o LoongCollector já estiver instalado e adicionado a um grupo de máquinas, selecione o grupo em Source Machine Group e mova-o para Applied Server Groups.

     • Se o LoongCollector não estiver instalado, clique em Create Machine Group:

       Siga estas etapas para instalar o LoongCollector automaticamente e criar um grupo de máquinas.

       1. O sistema lista as instâncias ECS na mesma região que o projeto. Selecione as instâncias das quais deseja coletar logs.

       2. Clique em Install and Create Machine Group. O sistema instala automaticamente o LoongCollector nas instâncias ECS selecionadas.

       3. Configure o Name do grupo de máquinas e clique em OK.

       null

       Se a instalação falhar ou permanecer em estado de espera, verifique se a região da instância ECS é a mesma que a região do projeto.

     • Para adicionar um servidor com o LoongCollector já instalado a um grupo de máquinas existente, consulte as Perguntas frequentes Como adiciono um servidor a um grupo de máquinas existente?

4. Verificar o status do heartbeat: Clique em Next. A seção Machine Group Heartbeat será exibida. Verifique o status de Heartbeat. Se estiver OK, a conexão do grupo de máquinas está normal. Clique em Next para ir para a página de configuração do Logtail.

   Se o status for FAIL, aguarde cerca de dois minutos e atualize. Se ainda estiver como FAIL, consulte O heartbeat do grupo de máquinas está como FAIL para mais informações sobre solução de problemas.

Global Configurations:

• Configuration Name: Nome personalizado para a configuração de coleta. Deve ser exclusivo dentro do projeto e não pode ser alterado após a criação. Convenções de nomenclatura:

  • Pode conter apenas letras minúsculas, dígitos, hifens (-) e sublinhados (_).

  • Deve começar e terminar com uma letra minúscula ou um dígito.

Input Configurations:

• Type: Text Log Collection.

• File Path: O caminho de coleta do log.

  • Linux: O caminho deve começar com uma barra (/). Por exemplo, /data/mylogs/**/*.log indica todos os arquivos com a extensão .log no diretório /data/mylogs e seus subdiretórios.

  • Windows: O caminho deve começar com uma letra de unidade. Por exemplo, C:\Program Files\Intel\**\*.Log.

• Maximum Directory Monitoring Depth: A profundidade máxima de diretórios correspondida pelo caractere curinga ** no File Path. O valor padrão é 0, indicando que apenas o diretório atual é monitorado.

Caso de uso 2: Logs estruturados

192.168.*.* - - [15/Apr/2025:16:40:00 +0800] "GET /nginx-logo.png HTTP/1.1" 0.000 514 200 368 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.*.* Safari/537.36"

body_bytes_sent: 368
http_referer: -
http_user_agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.x.x Safari/537.36
remote_addr:192.168.*.*
remote_user: -
request_length: 514
request_method: GET
request_time: 0.000
request_uri: /nginx-logo.png
status: 200
time_local: 15/Apr/2025:16:40:00

Procedimento: Na seção Processor Configurations da página Logtail Configuration

1. Adicionar um plugin de análise: Clique em Add Processor e configure um plugin como análise por expressão regular, análise por separador ou análise JSON de acordo com o formato real. Este exemplo usa a coleta de logs do NGINX e seleciona Native Processor > Data Parsing (NGINX Mode).

2. NGINX Log Configuration: Copie a definição de log_format do arquivo de configuração do servidor NGINX (nginx.conf) e cole-a nesta caixa de texto.

   Exemplo:

   log_format main  '$remote_addr - $remote_user [$time_local] "$request" ''$request_time $request_length ''$status $body_bytes_sent "$http_referer" ''"$http_user_agent"';

   null

   A definição de formato aqui deve ser exatamente igual ao formato que gera os logs no servidor. Caso contrário, a análise do log falhará.

3. Descrição dos parâmetros de configuração comuns: Os parâmetros a seguir aparecem em vários plugins de análise de dados e têm função e uso unificados.

   • Campo Original: O campo de origem a ser analisado. Padrão: content (toda a entrada de log coletada).

   • Manter Campo Original se a Análise Falhar: Preserva o conteúdo original do log quando a análise falha (por exemplo, devido a uma incompatibilidade de formato).

   • Manter Campo Original se a Análise For Bem-sucedida: Retém o conteúdo original do log mesmo após uma análise bem-sucedida.

Procedimento: Global Configurations > Other Global Configurations > Log Topic Type: Selecione um método para gerar tópicos. Os três tipos a seguir são suportados:

• Tópico do Grupo de Máquinas: Quando uma configuração de coleta é aplicada a múltiplos grupos de máquinas, o LoongCollector usa o nome do grupo de máquinas do servidor como campo __topic__. Adequado para dividir logs por host.

• Custom: Usa o formato customized://<custom_topic_name>, como customized://app-login. Este formato é adequado para casos de uso com tópicos estáticos e identificadores de negócio fixos.

• Extração de Caminho de Arquivo: Extraia informações-chave do caminho do arquivo de log para marcar dinamicamente a origem do log. Indicado quando múltiplos usuários ou aplicações compartilham o mesmo nome de arquivo de log, mas diferem no caminho:

  /data/logs
  ├── userA
  │   └── serviceA
  │       └── service.log
  ├── userB
  │   └── serviceA
  │       └── service.log
  └── userC
      └── serviceA
          └── service.log

  Configure a Extração de Caminho de Arquivo e use uma expressão regular para extrair informações-chave do caminho completo. O resultado correspondido é então enviado ao Logstore como tópico.

  Regra de extração de caminho de arquivo: baseada em grupos de captura de expressão regular

  Ao configurar uma expressão regular, o sistema determina automaticamente o formato do campo de saída com base no número e na nomenclatura dos grupos de captura. As regras são as seguintes:

  Na expressão regular para um caminho de arquivo, é necessário usar escape na barra (/).

  Tipo de grupo de captura	Caso de uso	Campo gerado	Exemplo de regex	Exemplo de caminho correspondente	Exemplo de campo gerado
  Grupo de captura único (apenas um (.*?))	Apenas uma dimensão é necessária para distinguir a origem (como nome de usuário ou ambiente)	Gera o campo __topic__	\/logs\/(.*?)\/app\.log	/logs/userA/app.log	__topic__: userA
  Múltiplos grupos de captura - sem nome (múltiplos (.*?))	Múltiplas dimensões são necessárias para distinguir a origem, mas rótulos semânticos não são necessários	Gera um campo de tag __tag__:__topic_{i}__, onde {i} é o número ordinal do grupo de captura	\/logs\/(.*?)\/(.*?)\/app\.log	/logs/userA/svcA/app.log	__tag__:__topic_1__userA __tag__:__topic_2__svcA
  Múltiplos grupos de captura - com nome (usando (?P<name>.*？)	Múltiplas dimensões são necessárias para distinguir a origem, e os significados dos campos devem ser claros para facilitar consultas e análises	Gera um campo de tag __tag__:{name}	\/logs\/(?P<user>.*?)\/(?P<service>.*?)\/app\.log	/logs/userA/svcA/app.log	__tag__:user:userA; __tag__:service:svcA

Por padrão, todos os logs são enviados ao Logstore atual com compressão lz4. Para enviar logs da mesma origem para diferentes Logstores:

Por padrão, cada arquivo de log de texto pode corresponder a apenas uma configuração do Logtail. Para permitir que várias configurações coletem o mesmo arquivo, habilite a coleta múltipla.

Procedimento:

1. Faça login no console do Simple Log Service e acesse o projeto de destino.

2. No painel de navegação à esquerda, escolha Logstores e localize o Logstore de destino.

3. Clique no ícone antes do nome para expandir o Logstore.

4. Clique em Logtail Configuration. Na lista de configurações, localize a configuração do Logtail de destino e clique em Manage Logtail Configuration na coluna Actions.

5. Na página de configuração do Logtail, clique em Edit:

   • Em Input Configurations > Other Input Configurations, habilite Allow File to Be Collected for Multiple Times.

6. Após concluir a configuração, clique em Save.

Extraia campos de log usando uma expressão regular e analise o log em pares chave-valor. Cada campo pode ser consultado e analisado de forma independente.

127.0.0.1 - - [16/Aug/2024:14:37:52 +0800] "GET /wp-admin/admin-ajax.php?action=rest-nonce HTTP/1.1" 200 41 "http://www.example.com/wp-admin/post-new.php?post_type=page" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0"

body_bytes_sent: 41
http_referer: http://www.example.com/wp-admin/post-new.php?post_type=page
http_user_agent: Mozilla/5.0 (Windows NT 10.0; Win64; ×64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0
remote_addr: 127.0.0.1
remote_user: -
request_method: GET
request_protocol: HTTP/1.1
request_uri: /wp-admin/admin-ajax.php?action=rest-nonce
status: 200
time_local: 16/Aug/2024:14:37:52 +0800

Procedimento: Na seção Processor Configurations da página Logtail Configuration, clique em Add Processor e selecione Native Processor > Data Parsing (Regex Mode):

• Regular Expression: A expressão usada para corresponder logs. Gere automaticamente ou insira manualmente:

  • Geração automática:

    • Clique em Generate.

    • Em Log Sample, selecione o conteúdo do log a ser extraído.

    • Clique em Generate Regular Expression.

      

  • Entrada manual: Manually Enter Regular Expression com base no formato do log.

  Após a configuração, clique em Validate para testar se a expressão regular consegue analisar corretamente o conteúdo do log.

• Extracted Field: O nome do campo (Key) que corresponde ao conteúdo do log extraído (Value).

• Para outros parâmetros, consulte a descrição dos parâmetros de configuração comuns em Caso de uso 2: Logs estruturados.

Estruture o conteúdo do log usando um separador para analisá-lo em múltiplos pares chave-valor. Separadores de um único caractere e de múltiplos caracteres são suportados.

05/May/2025:13:30:28,10.10.*.*,"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1",200,18204,aliyun-sdk-java

ip:10.10.*.*
request:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1
size:18204
status:200
time:05/May/2025:13:30:28
user_agent:aliyun-sdk-java

Procedimento: Na seção Processor Configurations da página Logtail Configuration, clique em Add Processor e selecione Native Processor > Data Parsing (Delimiter Mode):

• Delimiter: Especifica o caractere usado para dividir o conteúdo do log.

  Exemplo: Para um arquivo CSV, selecione Custom e insira uma vírgula (,).

• Quote: Se o valor de um campo contiver o separador, você deve colocar o valor do campo entre aspas para evitar divisões incorretas.

• Extracted Field: Especifique o nome do campo (Key) para cada coluna na ordem em que aparecem. As regras são as seguintes:

  • Os nomes de campo podem conter apenas letras, dígitos e underscores (_).

  • Deve começar com uma letra ou um underscore (_).

  • Comprimento máximo: 128 bytes.

• Para outros parâmetros, consulte a descrição dos parâmetros de configuração comuns em Caso de uso 2: Logs estruturados.

Estruture um log JSON do tipo Object analisando-o em pares de chave-valor.

{"url": "POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek********&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1", "ip": "10.200.98.220", "user-agent": "aliyun-sdk-java", "request": {"status": "200", "latency": "18204"}, "time": "05/Jan/2025:13:30:28"}

ip: 10.200.98.220
request: {"status": "200", "latency" : "18204" }
time: 05/Jan/2025:13:30:28
url: POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek******&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1
user-agent:aliyun-sdk-java

Procedimento: Na seção Processor Configurations da página Logtail Configuration, clique em Add Processor e selecione Native Processor > Data Parsing (JSON Mode):

• Original Field: O campo que contém o log bruto a ser analisado. O valor padrão é content.

• Para outros parâmetros, consulte a descrição dos parâmetros de configuração comuns em Caso de uso 2: Logs estruturados.

Analise um log JSON aninhado em pares de chave-valor especificando a profundidade de expansão.

{"s_key":{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}}

0_s_key_k1_k2_k3_k41:41
0_s_key_k1_k2_k3_k4_k51:51
0_s_key_k1_k2_k3_k4_k52:52

1_s_key:{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}

Procedimento: Na seção Processor Configurations da página Logtail Configuration, clique em Add Processor e selecione Extended Processor > Expand JSON Field:

• Original Field: Especifica o nome do campo de origem a ser expandido, como content.

• JSON Expansion Depth: A profundidade de expansão do objeto JSON, onde 0 (padrão) indica expansão completa, 1 indica expansão do nível atual e assim por diante.

• Character to Concatenate Expanded Keys: O separador para nomes de campo quando um objeto JSON é expandido. O valor padrão é um underscore (_).

• Name Prefix of Expanded Keys: O prefixo para nomes de campo após a expansão do JSON.

• Expand Array: Expande um array em pares de chave-valor com índices.

  Exemplo: {"k":["a","b"]} é expandido para {"k[0]":"a","k[1]":"b"}.

  Para renomear os campos expandidos (por exemplo, de prefix_s_key_k1 para new_field_name), adicione um plugin de renomeação de campos em seguida para concluir o mapeamento.

• Para outros parâmetros, consulte a descrição dos parâmetros de configuração comuns em Caso de uso 2: Logs estruturados.

Use a função json_extract para extrair objetos JSON de um array JSON.

Exemplo:

[{"key1":"value1"},{"key2":"value2"}]

json1:{"key1":"value1"}
json2:{"key2":"value2"}

Procedimento: Na seção Processor Configurations da página Logtail Configuration, alterne o Processing Mode para SPL, configure o SPL Statement e use a função json_extract para extrair objetos JSON do array JSON.

Exemplo: Extraia elementos do array JSON no campo de log content e armazene os resultados nos novos campos json1 e json2.

* | extend json1 = json_extract(content, '$[0]'), json2 = json_extract(content, '$[1]')

Estruture o conteúdo do log em múltiplos pares de chave-valor com base na definição presente no arquivo de configuração de log do Apache.

1 192.168.1.10 - - [08/May/2024:15:30:28 +0800] "GET /index.html HTTP/1.1" 200 1234 "https://www.example.com/referrer" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36"

http_referer:https://www.example.com/referrer
http_user_agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36
remote_addr:192.168.1.10
remote_ident:-
remote_user:-
request_method:GET
request_protocol:HTTP/1.1
request_uri:/index.html
response_size_bytes:1234
status:200
time_local:[08/May/2024:15:30:28 +0800]

Procedimento: Na seção Processor Configurations da página Logtail Configuration, clique em Add Processor e selecione Native Processor > Data Parsing (Apache Mode):

• O Log Format é combined.

• O APACHE LogFormat Configuration é preenchido automaticamente com base no Log Format.

  null

  Certifique-se de verificar o conteúdo preenchido automaticamente para garantir que seja exatamente igual ao LogFormat definido no arquivo de configuração do Apache do seu servidor (normalmente localizado em /etc/apache2/apache2.conf).

• Para outros parâmetros, consulte a descrição dos parâmetros de configuração comuns em Caso de uso 2: Logs estruturados.

Estruture o conteúdo do log em múltiplos pares de chave-valor com base na definição do formato de log IIS.

Exemplo de comparação:

#Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status sc-bytes cs-bytes time-taken

c-ip: cs-username
cs-bytes: sc-substatus
cs-method: cs-method
cs-uri-query: cs-uri-query
cs-uri-stem: cs-uri-stem
cs-username: s-port
date: #Fields:
s-computername: s-sitename
s-ip: s-ip
s-sitename: time
sc-bytes: sc-status
sc-status: c-ip
sc-win32-status: cs (User-Agent)
time: date
time-taken: sc-win32-status

Procedimento: Na seção Processor Configurations da página Logtail Configuration, clique em Add Processor e selecione Native Processor > Data Parsing (IIS Mode):

• Log Format: Selecione o formato de log do seu servidor IIS.

  • IIS: O formato de arquivo de log para o Microsoft Internet Information Services.

  • NCSA: Common Log Format.

  • W3C refere-se ao W3C Extended Log File Format.

• IIS Configuration Fields: Quando você seleciona IIS ou NCSA, o SLS usa os campos de configuração IIS padrão. Quando você seleciona W3C, é necessário definir os campos com o valor do parâmetro logExtFileFlags no seu arquivo de configuração IIS. Por exemplo:

  logExtFileFlags="Date, Time, ClientIP, UserName, SiteName, ComputerName, ServerIP, Method, UriStem, UriQuery, HttpStatus, Win32Status, BytesSent, BytesRecv, TimeTaken, ServerPort, UserAgent, Cookie, Referer, ProtocolVersion, Host, HttpSubStatus"

• Para outros parâmetros, consulte a descrição dos parâmetros de configuração comuns em Caso de uso 2: Logs estruturados.

Mascare dados sensíveis em logs.

Exemplo:

[{'account':'1812213231432969','password':'04a23f38'}, {'account':'1812213685634','password':'123a'}]

[{'account':'1812213231432969','password':'********'}, {'account':'1812213685634','password':'********'}]

Procedimento: Na seção Processor Configurations da página Logtail Configuration, clique em Add Processor e selecione Native Processor > Data Masking:

• Original Field: O campo que contém o conteúdo do log antes da análise.

• Data Masking Method:

  • const: Substitui o conteúdo sensível por uma string constante.

  • md5: Substitui o conteúdo sensível pelo seu hash MD5.

• Replacement String: Se Data Masking Method estiver definido como const, insira uma string para substituir o conteúdo sensível.

• Content Expression that Precedes Replaced Content: A expressão usada para localizar o conteúdo sensível, configurada com a sintaxe RE2.

• Content Expression to Match Replaced Content: A expressão regular usada para corresponder ao conteúdo sensível. A expressão deve ser escrita na sintaxe RE2.

Analise o campo de tempo no log e defina o resultado da análise como o campo __time__ do log.

Exemplo:

{"level":"INFO","timestamp":"2025-09-23T19:11:47+0800","cluster":"yilu-cluster-0728","message":"User logged in successfully","userId":"user-123"}

Procedimento: Na seção Processor Configurations da página Logtail Configuration, clique em Add Processor e selecione Native Processor > Time Parsing:

• Original Field: O campo que contém o conteúdo do log antes da análise.

• Time Format: Defina o formato de tempo que corresponde aos timestamps no log.

• Time Zone: Selecione o fuso horário para o campo de tempo do log. Por padrão, este é o fuso horário do ambiente onde o processo LoongCollector (Logtail) está em execução.