Elasticsearch:Usar um cluster Logstash autogerenciado para migrar dados para um cluster Alibaba Cloud Elasticsearch

Etapa 1: (Opcional) Criar uma função e um usuário

Uma instância Logstash autogerenciada exige uma conta do Elasticsearch para acessar o cluster Elasticsearch e visualizar dados de monitoramento do Logstash no console do Kibana. Use o usuário integrado elastic ou um usuário personalizado.

Etapa 2: Instalar o Logstash na instância ECS

1. Conecte-se à instância ECS.

   Para mais informações, consulte Métodos de conexão.

2. Baixe o pacote de instalação do Logstash.

   Acesse o site da Elastic e baixe o pacote de instalação do Logstash com a mesma versão do cluster Elasticsearch.

   wget https://artifacts.elastic.co/downloads/logstash/logstash-8.5.1-linux-x86_64.tar.gz

   Nota

   Comando para o Logstash V7.4:

   wget https://artifacts.elastic.co/downloads/logstash/logstash-7.4.0.tar.gz

3. Descompacte o pacote de instalação do Logstash.

   Este exemplo usa o Logstash V8.5.1.

   tar -xzvf logstash-8.5.1-linux-x86_64.tar.gz

Etapa 3: Configurar e executar um pipeline do Logstash

1. Acesse o diretório do Logstash.

   cd logstash-8.5.1

2. Crie um arquivo .conf.

   touch test.conf

3. Configure o arquivo test.conf.

   O código de amostra a seguir fornece um exemplo de configuração:

   input {
       file {
           path => "/your/file/path/xxx"
           }
   }
   filter {
   }
   output {
     elasticsearch {
       hosts => "<http://<instanceId>.elasticsearch.aliyuncs.com:9200>"
     	index => "<index-name>"
       user => "<user-name>"
       password => "<logstash-password>"
     }
   }

   Parâmetro	Descrição
   path	Caminho do arquivo de log. Este exemplo usa /var/log/messages.
   hosts	Endpoint do cluster Alibaba Cloud Elasticsearch. Substitua instanceId pelo ID da sua instância. Exemplo: http://es-cn-45xxxxxxxxxxxxju.elasticsearch.aliyuncs.com:9200.
   index	Nome do índice onde os dados do arquivo de log serão gravados. Defina um nome personalizado.
   user	Nome de usuário usado para acessar o cluster Elasticsearch. Este exemplo usa elastic. Importante Para garantir a segurança do sistema, recomendamos usar um usuário personalizado em vez do usuário elastic em ambientes de produção. O nome de usuário deve estar entre aspas duplas ("). Isso evita erros potenciais causados por caracteres especiais no nome de usuário durante a execução do pipeline do Logstash.
   password	Senha usada para acessar o cluster Elasticsearch. Importante A senha deve estar entre aspas duplas ("). Isso evita erros potenciais causados por caracteres especiais na senha durante a execução do pipeline do Logstash.

   O Logstash oferece diversos plug-ins de entrada, filtro e saída. Configure esses plug-ins adequadamente para transferir dados. Para mais informações, consulte Estrutura de um arquivo de configuração.

4. Execute o pipeline do Logstash.

   bin/logstash -f test.conf

   Se o comando for executado com êxito, o Logstash detectará automaticamente alterações no arquivo de log e as sincronizará com o cluster Elasticsearch. Sempre que novos dados forem adicionados ao arquivo de log monitorado, o Logstash os sincronizará automaticamente com o cluster Elasticsearch.

Etapa 4: Visualizar os dados migrados

1. Faça login no console do Kibana do cluster Elasticsearch.

   Para mais informações, consulte Fazer login no console do Kibana.

2. Clique em no canto superior esquerdo da página exibida e escolha Management > Dev Tools.

3. Na aba Console da página exibida, execute o seguinte comando:

   GET /logstash-*/_search

Etapa 5: (Opcional) Monitorar o nó do Logstash

1. Acesse a pasta config no diretório do Logstash.

   cd logstash-8.5.1/config

2. Configure o arquivo logstash.yml.

   1. Abra o arquivo logstash.yml.

      vim logstash.yml

   2. No arquivo logstash.yml, remova os comentários dos parâmetros listados na tabela a seguir e configure-os.

      xpack.monitoring.enabled:true
      xpack.monitoring.elasticsearch.username:"<user-name>"
      xpack.monitoring.elasticsearch.password:"<logstash-password>"
      xpack.monitoring.elasticsearch.hosts:["http://es-cn-nwy3fwjp8xxxxxxx.elasticsearch.aliyuncs.com:9200"]

      Parâmetro	Descrição
      xpack.monitoring.enabled	Defina este parâmetro como true. O valor padrão é false.
      xpack.monitoring.elasticsearch.username	Nome do usuário criado para monitoramento do Logstash. Este exemplo usa o usuário elastic. Importante Para garantir a segurança do sistema, recomendamos usar um usuário personalizado em vez do usuário elastic em ambientes de produção.
      xpack.monitoring.elasticsearch.password	Senha do usuário criado para monitoramento do Logstash.
      xpack.monitoring.elasticsearch.hosts	Endpoint do cluster Alibaba Cloud Elasticsearch. Exemplo: http://es-cn-45xxxxxxxxxxxxju.elasticsearch.aliyuncs.com:9200.

3. Acesse o diretório do Logstash e inicie o serviço do Logstash.

   cd ../
   bin/logstash -f test.conf

4. Faça login no console do Kibana do cluster Elasticsearch.

   Para mais informações, consulte Fazer login no console do Kibana.

5. Clique em no canto superior esquerdo da página exibida e escolha Management > Stack Monitoring.

6. (Opcional) Na caixa de diálogo Create rules, clique em OK.

7. Na página Cluster overview, visualize os dados de monitoramento do Logstash.