Elasticsearch:Depurar configurações de pipeline do Logstash

Pré-requisitos

Instale o plugin logstash-output-file_extend. Consulte Install or uninstall plugins para obter instruções.

Procedimento

1. Acesse a página Logstash Clusters.

2. Na barra de navegação superior, selecione a região onde está o cluster desejado.

3. Clique em ID da instância de destino na lista de instâncias.

4. No painel de navegação à esquerda, clique em Pipelines.

5. Clique em Create Pipeline.

6. Configure e inicie o pipeline.

   1. Na seção Config Settings, insira um Pipeline ID e suas Config Settings.

      Parâmetro	Descrição
      Pipeline ID	Insira um ID personalizado. O sistema mapeia esse ID automaticamente para o parâmetro path do plugin file_extend.
      Config Settings	As Config Settings consistem em três seções: input: Especifica a origem dos dados. O Alibaba Cloud Logstash suporta todos os plugins de entrada oficiais do Logstash, exceto o plugin file. filter: Processa os dados da origem. O Alibaba Cloud Logstash oferece suporte a uma ampla variedade de plugins de filtro. output: Envia os dados processados para um destino especificado. Além dos plugins de saída padrão do Logstash, o Alibaba Cloud Logstash fornece o plugin proprietário file_extend. Configure este plugin para ativar a depuração e visualizar a saída do pipeline diretamente no console.

      O código a seguir apresenta um exemplo de configuração de pipeline:

      input {
           elasticsearch {
             hosts => "http://es-cn-0pp1jxv000****.elasticsearch.aliyuncs.com:9200"
             user  => "elastic"
             index => "twitter"
             password => "<YOUR_PASSWORD>"
             docinfo => true
           }
      
      }
      filter {
      
      }
      output {
          elasticsearch {
          hosts => ["http://es-cn-000000000i****.elasticsearch.aliyuncs.com:9200"]
          user => "elastic"
          password => "<your_password>"
          index => "%{[@metadata][_index]}"
          document_id => "%{[@metadata][_id]}"
      
        }
         file_extend {
           path => "/ssd/1/ls-cn-v0h1kzca****/logstash/logs/debug/test"
         }
      
      }

      Importante

      • A configuração do file_extend na seção output vem comentada por padrão. Descomente essa seção para usar o recurso de depuração.

      • O parâmetro path na configuração do file_extend assume, por padrão, um caminho gerado pelo sistema. Não modifique esse caminho. Como alternativa, clique em Start Configuration Debug para gerar automaticamente o caminho correto.

      • O sistema substitui automaticamente a variável {pipelineid} no path pelo Pipeline ID especificado. Não altere essa variável; caso contrário, o log de depuração ficará inacessível.

      O plugin de entrada do Elasticsearch é útil para tarefas como importação em massa de logs de teste mediante a leitura de documentos de um cluster do Alibaba Cloud Elasticsearch. Por padrão, esse processo é interrompido após a leitura de todos os dados. No entanto, as instâncias do Alibaba Cloud Logstash executam continuamente e reiniciam automaticamente processos parados. Em cenários de tarefa única, esse comportamento pode causar gravações duplicadas de dados. Para evitar isso, utilize o parâmetro schedule com uma expressão cron para executar a tarefa apenas uma vez. O pipeline encerra após essa execução única, o que impede repetições. Para mais informações, consulte a documentação oficial do Logstash sobre Agendamento.

      Por exemplo, para agendar a execução da tarefa às 13:20 do dia 5 de março:

      schedule => "20 13 5 3 *"

   2. Clique em Next step para configurar os parâmetros do pipeline.

      Para mais detalhes sobre os parâmetros do pipeline, consulte Manage pipelines by using configuration files.

   3. Salve e implante o pipeline.

      • Save: Salva a configuração do pipeline e retorna à página Pipelines, onde as alterações ainda não foram implantadas. Na lista de Pipelines, clique em Deploy Now na coluna Actions para aplicar a configuração.

      • Save and Deploy: Salva a configuração e reinicia imediatamente a instância para aplicar as alterações.

   4. Na mensagem de sucesso, clique em OK.

7. Visualize o log de depuração.

   1. Após a reinicialização da instância, retorne à lista de Pipelines, localize o pipeline de destino e clique em View Debug Logs na coluna Actions.

   2. Na página Logs, abra a aba Debug Log para visualizar a saída processada do pipeline.

      Para localizar logs de um pipeline específico, insira pipelineId: <your_pipeline_id> na barra de pesquisa. Isso filtra e exibe os dados de saída do log processados pelo pipeline correspondente.