Simple Log Service:Importar logs históricos a partir de arquivos de log

Pré-requisitos

• O Logtail V0.16.15 ou posterior está instalado no seu servidor Linux, ou o Logtail V1.0.0.1 ou posterior está instalado no seu servidor Windows. Para mais informações, consulte Install Logtail on a Linux server ou Install Logtail on a Windows server.

• Uma configuração do Logtail foi criada e aplicada ao seu grupo de máquinas. Para mais informações, consulte Overview of text log collection.

  Nota

  Se a configuração do Logtail for usada apenas para importar logs históricos de arquivos de log, especifique um caminho de coleta que não existe.

Informações gerais

O Logtail coleta logs com base nos eventos de modificação dos arquivos monitorados. Ele pode carregar eventos de arquivos locais para coletar logs. O Logtail carrega eventos locais para coletar logs históricos de arquivos de log.

Importe os logs históricos a partir do diretório de instalação do Logtail, que varia conforme o sistema operacional. A tabela a seguir descreve os diretórios de instalação do Logtail em diferentes sistemas operacionais.

Procedimento

1. Obtenha o identificador exclusivo da configuração do Logtail.

   O identificador exclusivo de uma configuração do Logtail pode ser obtido no arquivo user_log_config.json, localizado no diretório de instalação do Logtail. Por exemplo, execute o comando a seguir para obter o identificador exclusivo de uma configuração do Logtail em um servidor Linux:

   grep "##" /usr/local/ilogtail/user_log_config.json | awk '{print $1}'

2. Adicione um evento local.

   1. Crie o arquivo local_event.json no diretório de instalação do Logtail.

   2. Adicione o evento local no formato JSON ao arquivo local_event.json.

      Importante

      Para evitar que o Logtail carregue um evento JSON inválido, salve a configuração do evento local em um arquivo temporário para edição e, em seguida, copie a configuração para o arquivo local_event.json após concluir a edição.

      [ 
        {
          "config" : "${your_config_unique_id}",
          "dir" : "${your_log_dir}",
          "name" : "${your_log_file_name}"
         },
        {
         ...
         }
         ...
      ]

      Parâmetro	Descrição
      config	Insira o identificador exclusivo da configuração do Logtail obtido na Etapa 1. Exemplo: ##1.0##log-config-test$ecs-test.
      dir	Especifique o diretório do arquivo de log do qual deseja importar logs históricos. Exemplo: /data/logs. Importante Não termine o valor com uma barra (/). Não especifique o diretório de instalação do Logtail, como /usr/local/ilogtail.
      name	Especifique o nome do arquivo de log do qual deseja importar logs históricos. Caracteres curinga são aceitos. Exemplos: access.log.2018-08-08 e access.log*.

      O código de exemplo a seguir demonstra como configure um evento local no Linux:

      $ cat /usr/local/ilogtail/local_event.json
      [
        {
          "config": "##1.0##log-config-test$ecs-test",
          "dir": "/data/log",
          "name": "access.log*"
        },
        {
          "config": "##1.0##log-config-test$tmp-test",
          "dir": "/tmp",
          "name": "access.log.2017-08-09"
        }
      ]                            

Perguntas frequentes

• Como verificar se o Logtail carregou uma configuração?

  Na maioria dos casos, após salve o arquivo local_event.json, o Logtail carrega o conteúdo do arquivo para a memória em até 1 minuto e, em seguida, limpa o arquivo.

  Utilize os métodos a seguir para verificar se o Logtail carregou a configuração:

  1. Se o arquivo local_event.json estiver vazio, o Logtail já leu as informações do evento.

  2. Verifique se o arquivo ilogtail.LOG no diretório de instalação do Logtail contém o parâmetro process local event. Se o arquivo local_event.json estiver vazio e o parâmetro process local event não for encontrado, o conteúdo do local_event.json pode ter sido filtrado por ser inválido.

• Por que não consigo coletar dados após o carregamento de uma configuração do Logtail?

  • A configuração do Logtail é inválida.

  • A configuração no arquivo local_event.json é inválida.

  • O arquivo de log do qual você deseja coletar logs não está no diretório especificado na configuração do Logtail.

  • Os logs do arquivo de log em questão já foram coletados.

Próximas etapas

Após importar os logs históricos, você pode consultá-los e analisá-los. Para mais informações, consulte Query and analyze logs in index mode.