Simple Log Service:Coletar dados de Beats e Logstash

Pré-requisitos

• Instale o Logtail no servidor. No Linux, use a versão 0.16.9 ou posterior. No Windows, use a versão 1.0.0.8 ou posterior. Instalar o Logtail em um servidor Linux ou Instalar o Logtail em um servidor Windows.

• Colete dados com Logstash ou Beats.

  • Para coletar dados com Logstash, consulte Logstash-Lumberjack-Output.

  • Para coletar dados com o software Beats, consulte Beats-Lumberjack-Output.

    O exemplo a seguir usa PacketBeat para coletar pacotes de rede locais e o plugin Lumberjack do Logtail para enviar dados ao Simple Log Service. A saída do PacketBeat está configurada para Logstash:

    output.logstash:
      hosts: ["127.0.0.1:5044"]

Informações básicas

Procedimento

1. Faça login no console do Simple Log Service.

2. No lado direito da página, clique em Import Data e selecione Custom Data Plug-in.

3. Selecione o projeto e o Logstore de destino e clique em Next.

4. Na etapa Machine Group Configurations, configure um grupo de máquinas.

   1. Configure os parâmetros Scenario e Installation Environment conforme necessário.

      Importante

      Configure os parâmetros Scenario e Installation Environment mesmo que nenhum grupo de máquinas esteja disponível. Essas definições afetam as configurações subsequentes.

   2. Verifique se um grupo de máquinas aparece na seção Applied Server Groups e clique em Next.

      Grupo de máquinas disponível

      Selecione um grupo de máquinas na seção Source Machine Group.

      

      Nenhum grupo de máquinas disponível

      Clique em Create Machine Group. No painel Create Machine Group, configure os parâmetros. Defina o parâmetro Machine Group Identifier como IP Address ou Custom Identifier. Para mais informações, consulte Criar um grupo de máquinas baseado em identificador personalizado ou Criar um grupo de máquinas baseado em endereço IP.

      Importante

      Ao aplicar um grupo de máquinas imediatamente após a criação, o status de heartbeat pode ser FAIL. Isso ocorre porque o grupo ainda não estabeleceu conexão com o Simple Log Service. Para resolver, clique em Automatic Retry. Caso o problema persista, consulte O que fazer se nenhuma conexão de heartbeat for detectada no Logtail?

5. Na aba Data Source Configuration, defina Configuration Name e Plugin Configuration e clique em Next.

   • O campo inputs é obrigatório e define as configurações da source de dados do Logtail.

     Importante

     Especifique apenas um tipo de source de dados em inputs.

   • O campo processors é opcional e configura o processamento de dados na configuração do Logtail para analisar dados. Especifique um ou mais métodos de processamento.

     Se os logs não puderem ser analisados apenas com a configuração de inputs, configure processors no campo Plug-in Configuration para adicionar plugins de processamento de dados. Exemplos incluem extração de campos, extração de horário do log, mascaramento de dados e filtragem de logs. Para mais informações, consulte Plugins do Logtail para processamento de dados.

   Beats e Logstash geram dados no formato JSON. Use o plugin processor_anchor para analisar dados JSON.

   {
     "inputs": [
       {
         "detail": {
           "BindAddress": "0.0.0.0:5044"
         },
         "type": "service_lumberjack"
       }
     ],
     "processors": [
       {
         "detail": {
           "Anchors": [
             {
               "ExpondJson": true,
               "FieldType": "json",
               "Start": "",
               "Stop": ""
             }
           ],
           "SourceKey": "content"
         },
         "type": "processor_anchor"
       }
     ]
   }
                           

   Parâmetro	Tipo	Obrigatório	Descrição
   type	string	Sim	Tipo da source de dados. Defina como service_lumberjack.
   BindAddress	string	Não	Endereço de escuta do protocolo Lumberjack. Padrão: 127.0.0.1:5044. Defina como 0.0.0.0:5044 para permitir acesso de outros hosts na LAN.
   V1	boolean	Não	Indica se o protocolo Lumberjack V1 deve ser usado. Padrão: false. O Logstash usa Lumberjack V1.
   V2	boolean	Não	Indica se o protocolo Lumberjack V2 deve ser usado. Padrão: true. O Beats usa Lumberjack V2.
   SSLCA	string	Não	Caminho do certificado de assinatura emitido pela CA. Padrão: vazio. Não necessário para certificados autoassinados.
   SSLCert	string	Não	Caminho do certificado SSL. Padrão: vazio.
   SSLKey	string	Não	Caminho da chave privada do certificado. Padrão: vazio.
   InsecureSkipVerify	boolean	Não	Indica se a verificação SSL deve ser ignorada. Padrão: false (verificação SSL ativada).

6. Crie índices e visualize os dados. Em seguida, clique em Next. Por padrão, a indexação de texto completo está ativada no Simple Log Service. Crie manualmente índices de campo para os logs coletados ou clique em Automatic Index Generation para gerar índices de campo automaticamente. Para mais informações, consulte Criar índices.

   Importante

   Use índices de texto completo para consultar todos os campos dos logs. Para consultar apenas campos específicos, use índices de campo e reduza o tráfego de indexação. A criação de índices de campo é obrigatória para análise de campos. Inclua uma instrução SELECT na consulta para realizar a análise.

7. Clique em Query Log para acessar a página de Consulta e Análise do Logstore.

   Os índices podem levar cerca de um minuto para entrar em vigor. Depois disso, visualize os logs coletados na aba Raw Logs. Para mais informações, consulte Guia de início rápido para consulta e análise de logs.

Solução de problemas

Se nenhum dado aparecer na página de visualização ou consulta após configurar a coleta de logs com o Logtail, consulte Solucionar falhas na coleta do Logtail.

Próximos passos

Depois que o Logtail coletar e enviar os dados ao Simple Log Service, visualize-os no console. O exemplo abaixo mostra a saída do PacketBeat:

_@metadata_beat:  packetbeat
_@metadata_type:  doc
_@metadata_version:  6.2.4
_@timestamp:  2018-06-05T03:58:42.470Z
__source__:  **.**.**.**
__tag__:__hostname__:  *******
__topic__:  
_beat_hostname:  bdbe0b8d53a4
_beat_name:  bdbe0b8d53a4
_beat_version:  6.2.4
_bytes_in:  56
_bytes_out:  56
_client_ip:  192.168.5.2
_icmp_request_code:  0
_icmp_request_message:  EchoRequest(0)
_icmp_request_type:  8
_icmp_response_code:  0
_icmp_response_message:  EchoReply(0)
_icmp_response_type:  0
_icmp_version:  4
_ip:  127.0.0.1
_path:  127.0.0.1
_responsetime:  0
_status:  OK
_type:  icmp