Elasticsearch:Usar um cluster Logstash autogerenciado para migrar dados para um cluster Alibaba Cloud Elasticsearch

Etapa 1: (Opcional) Criar uma função e um usuário

Uma instância Logstash autogerenciada exige uma conta do Elasticsearch para acessar seu cluster Elasticsearch e visualizar dados de monitoramento do Logstash no console Kibana. É possível usar o usuário integrado elastic ou um usuário personalizado.

Etapa 2: Instalar o Logstash na instância ECS

1. Conecte-se à instância ECS.

   Para mais informações, consulte Connection methods.

2. Baixe o pacote de instalação do Logstash.

   Acesse o site da Elastic e baixe o pacote de instalação do Logstash com a mesma versão do cluster Elasticsearch.

   wget https://artifacts.elastic.co/downloads/logstash/logstash-8.5.1-linux-x86_64.tar.gz

   Nota

   Comando para o Logstash V7.4:

   wget https://artifacts.elastic.co/downloads/logstash/logstash-7.4.0.tar.gz

3. Descompacte o pacote de instalação do Logstash.

   Neste exemplo, utiliza-se o Logstash V8.5.1.

   tar -xzvf logstash-8.5.1-linux-x86_64.tar.gz

Etapa 3: Configurar e executar um pipeline do Logstash

1. Acesse o diretório do Logstash.

   cd logstash-8.5.1

2. Crie um arquivo .conf.

   touch test.conf

3. Configure o arquivo test.conf.

   O código de amostra a seguir fornece um exemplo de configuração:

   input {
       file {
           path => "/your/file/path/xxx"
           }
   }
   filter {
   }
   output {
     elasticsearch {
       hosts => "<http://<instanceId>.elasticsearch.aliyuncs.com:9200>"
     	index => "<index-name>"
       user => "<user-name>"
       password => "<logstash-password>"
     }
   }

   Parâmetro	Descrição
   path	Caminho do arquivo de log. Neste exemplo, usa-se /var/log/messages.
   hosts	Endpoint do seu cluster Alibaba Cloud Elasticsearch. Substitua instanceId pelo ID da sua instância. Exemplo: http://es-cn-45xxxxxxxxxxxxju.elasticsearch.aliyuncs.com:9200.
   index	Nome do índice onde os dados do arquivo de log serão gravados. Especifique um nome personalizado.
   user	Nome de usuário usado para acessar o cluster Elasticsearch. Neste exemplo, utiliza-se elastic. Importante Para garantir a segurança do sistema, recomenda-se usar um usuário personalizado em vez do usuário elastic em ambientes de produção. O nome de usuário deve estar entre aspas duplas ("). Isso evita possíveis erros causados por caracteres especiais no nome de usuário durante a execução do pipeline do Logstash.
   password	Senha usada para acessar o cluster Elasticsearch. Importante A senha deve estar entre aspas duplas ("). Isso evita possíveis erros causados por caracteres especiais na senha durante a execução do pipeline do Logstash.

   O Logstash oferece diversos plug-ins de entrada, filtro e saída. Basta configurar esses plug-ins adequadamente para realizar a transferência de dados. Para mais informações, consulte Estrutura de um arquivo de configuração.

4. Execute o pipeline do Logstash.

   bin/logstash -f test.conf

   Se o comando for executado com êxito, o Logstash detectará automaticamente alterações no arquivo de log e sincronizará essas alterações com o cluster Elasticsearch. Sempre que novos dados forem adicionados ao arquivo de log monitorado, o Logstash os sincronizará automaticamente com o cluster Elasticsearch.

Etapa 4: Visualizar os dados migrados

1. Faça login no console Kibana do cluster Elasticsearch.

   Para mais informações, consulte Acesse o console Kibana.

2. Clique em no canto superior esquerdo da página exibida e escolha Management > Dev Tools.

3. Na aba Console da página exibida, execute o seguinte comando:

   GET /logstash-*/_search

Etapa 5: (Opcional) Monitorar o nó do Logstash

1. Acesse a pasta config no diretório do Logstash.

   cd logstash-8.5.1/config

2. Configure o arquivo logstash.yml.

   1. Abra o arquivo logstash.yml.

      vim logstash.yml

   2. No arquivo logstash.yml, remova as anotações dos parâmetros listados na tabela a seguir. Em seguida, configure os parâmetros.

      xpack.monitoring.enabled:true
      xpack.monitoring.elasticsearch.username:"<user-name>"
      xpack.monitoring.elasticsearch.password:"<logstash-password>"
      xpack.monitoring.elasticsearch.hosts:["http://es-cn-nwy3fwjp8xxxxxxx.elasticsearch.aliyuncs.com:9200"]

      Parâmetro	Descrição
      xpack.monitoring.enabled	Defina este parâmetro como true. O valor padrão é false.
      xpack.monitoring.elasticsearch.username	Nome do usuário criado para monitoramento do Logstash. Neste exemplo, utiliza-se o usuário elastic. Importante Para garantir a segurança do sistema, recomenda-se usar um usuário personalizado em vez do usuário elastic em ambientes de produção.
      xpack.monitoring.elasticsearch.password	Senha do usuário criado para monitoramento do Logstash.
      xpack.monitoring.elasticsearch.hosts	Endpoint do seu cluster Alibaba Cloud Elasticsearch. Exemplo: http://es-cn-45xxxxxxxxxxxxju.elasticsearch.aliyuncs.com:9200.

3. Acesse o diretório do Logstash e inicie o service do Logstash.

   cd ../
   bin/logstash -f test.conf

4. Faça login no console Kibana do cluster Elasticsearch.

   Para mais informações, consulte Acesse o console Kibana.

5. Clique em no canto superior esquerdo da página exibida e escolha Management > Stack Monitoring.

6. (Opcional) Na caixa de diálogo Create rules, clique em OK.

7. Na página Cluster overview, visualize os dados de monitoramento do Logstash.