Elasticsearch:Use the pipeline configuration debugging feature

Etapa 1: Abrir a página de criação de pipeline

1. Acesse a página Clusters do Logstash no console do Alibaba Cloud Elasticsearch.

2. Na barra de navegação superior, selecione a região onde o cluster está localizado.

3. Na página Logstash Clusters, clique em ID do cluster.

4. No painel de navegação à esquerda, clique em Pipelines.

5. Na página Pipelines, clique em Create Pipeline.

Etapa 2: Configure o pipeline

1. Na etapa Config Settings, defina o Pipeline ID e as Config Settings. Seções das Config Settings: O exemplo abaixo lê dados de um cluster Elasticsearch de source e grava em um cluster de destino. O bloco file_extend está incluído para depuração. Remova o comentário para ative o recurso:

   • input: Especifica a fonte de dados. Há suporte para todos os plug-ins de entrada open source do Logstash, exceto o plug-in file.

   • filter: Processa os dados coletados. Há suporte para diversos plug-ins de filtro.

   • output: Envia os dados processados para o destino. Há suporte para plug-ins de saída do Logstash open source e para o plug-in de saída file_extend do Alibaba Cloud. Remova o comentário do bloco file_extend para ative a depuração de configuração do pipeline.

   Importante

   • O bloco file_extend na seção de saída vem comentado por padrão. Remova o comentário para ative a depuração.

   • O sistema atribui o valor de path. Não o altere. Clique em Start Configuration Debug para obter o caminho correto.

   • O trecho {pipelineid} no caminho é mapeado automaticamente para o ID do pipeline. Não o modifique. Caso contrário, os logs de depuração não serão capturados.

   Parâmetro	Descrição
   Pipeline ID	Identificador exclusivo do pipeline. O sistema mapeia automaticamente este valor para {pipelineid} no campo path do plug-in de saída file_extend.
   Config Settings	A configuração do pipeline, composta por três seções: input, filter e output. Consulte os detalhes abaixo.

   input {
        elasticsearch {
          hosts => "http://es-cn-0pp1jxv000****.elasticsearch.aliyuncs.com:9200"
          user  => "elastic"
          index => "twitter"
          password => "<YOUR_PASSWORD>"
          docinfo => true
        }
   
   }
   filter {
   
   }
   output {
       elasticsearch {
         hosts => ["http://es-cn-000000000i****.elasticsearch.aliyuncs.com:9200"]
         user => "elastic"
         password => "<your_password>"
         index => "%{[@metadata][_index]}"
         document_id => "%{[@metadata][_id]}"
       }
        file_extend {
          path => "/ssd/1/ls-cn-v0h1kzca****/logstash/logs/debug/test"
        }
   
   }

   Uso do plug-in de entrada do Elasticsearch para importações de teste em lote O plug-in de entrada do Elasticsearch lê dados de um cluster com base na instrução de consulta configurada. Ele é ideal para importar vários logs de teste de uma só vez. Por padrão, o Logstash interrompe o processo após a leitura de todos os dados e o reinicia automaticamente. Isso pode causar gravações duplicadas quando existe apenas um pipeline. Para evitar duplicatas, utilize o parâmetro schedule com uma expressão cron para execute o pipeline em um intervalo fixo. Após a primeira execução, o Logstash para o pipeline e só o reinicia no próximo horário agendado. O exemplo a seguir agenda a execução do pipeline às 13:20 do dia 5 de março de cada ano:

   schedule => "20 13 5 3 *"

   Para mais detalhes, consulte Scheduling na documentação do Logstash.

   

2. Clique em Next para configure os parâmetros do pipeline. Para detalhes sobre os parâmetros, consulte Usar arquivos de configuração para gerencie pipelines.

3. Salve e implante o pipeline usando uma das seguintes opções:

   Opção	Comportamento
   Save	Salva as configurações do pipeline e aciona uma alteração no cluster, mas as definições não entram em vigor imediatamente. Após salve, acesse a página Pipelines, localize o pipeline e clique em Deploy Now na coluna Actions.
   Save and Deploy	Salva as configurações e reinicia imediatamente o cluster Logstash para aplicá-las.

4. Na mensagem de confirmação, clique em OK.

Etapa 3: Visualize logs de depuração

Após a reinicialização do cluster, os logs de depuração estarão disponíveis para visualização.

1. Na página Pipelines, localize o pipeline e clique em View Debug Logs na coluna Actions.

2. Na aba Debug Log da página Logs, revise os dados de saída do pipeline. Se houver vários pipelines, filtre os logs inserindo pipelineId: <Pipeline ID> na caixa de pesquisa.

   

3. Caso os dados de saída não atendam aos requisitos, retorne à configuração do pipeline, ajuste as Config Settings e reimplemente.