Como coletar dados de log personalizados de um servidor usando Elastic Agent - : Central de Documentação do Alibaba Cloud

O Fleet é uma solução robusta de gerenciamento centralizado no Elasticsearch para administrar múltiplos nós e serviços. Ele possui dois componentes principais: um servidor Fleet e um agente Fleet. O agente Fleet é um coletor de dados leve que obtém informações do servidor source. O servidor Fleet atua como nó central, gerencia e monitora todos os agentes Fleet e transfere os dados para o Elasticsearch.

Termos

Termo	Descrição
Fleet	Solução avançada de gerenciamento centralizado no Elasticsearch destinada à administração de serviços de agentes.
Agente Fleet	Coletor de dados leve responsável por obter informações do servidor source. Compatível com diversos sistemas operacionais, coleta vários tipos de dados.
Servidor Fleet	Transfere para o Elasticsearch os dados coletados pelos agentes.

Pré-requisitos

Crie um cluster do Alibaba Cloud Elasticsearch. Para mais informações, consulte Criar um cluster do Alibaba Cloud Elasticsearch. Este tópico utiliza um cluster Elasticsearch 8.5 como exemplo.

Nota
Os clusters do Alibaba Cloud Elasticsearch suportam apenas as versões 7.16 e 8.5.
Crie uma instância ECS na mesma VPC do cluster Elasticsearch. Para mais detalhes, consulte Criar uma instância.

Nota
A instância ECS funciona como servidor source. O Elastic Agent coleta dados diretamente dessa instância.

Criar uma política de agente e adicionar integrações

Etapa 1: Criar uma política de agente

Faça login no console do Kibana. Para mais informações, consulte Fazer login no console do Kibana.
Clique em e acesse Management > Fleet.
Na página Fleet, clique em Agent policies.
Clique em Create agent policy e configure a política no painel lateral.
1. No campo Name, insira custom-log.
2. Desmarque a caixa de seleção Collect system logs and metrics.
3. Clique em Advanced Options. Na seção Agent monitoring, desmarque as caixas Collect agent logs e Collect agent metrics.
  
  Nota
  Neste cenário, o objetivo é coletar apenas dados de Custom Logs. Portanto, não é necessário coletar logs do sistema, métricas do sistema ou dados do próprio agente.
Clique em Create agent policy.

Etapa 2: Criar uma integração Fleet Server

Na página Fleet, clique em Agent policies e selecione a política de agente custom-log.
Na aba Integration, clique em Add integration.
Na aba Browse integrations, pesquise Fleet Server e clique em Fleet Server.
Instale a integração do Fleet Server.
1. Na página Fleet Server, clique em Set.
2. Clique em Install Fleet Server assets. Na caixa de diálogo exibida, clique em Install Fleet Server.
  
  Nota
  A versão da integração aparece na aba Settings após a instalação.
No canto superior direito da página, clique em Add Fleet Server.
Na página Add Fleet Server integration, insira um nome para a integração e selecione a política de agente custom-log.
Clique em Save and continue e, em seguida, clique em Add Elastic Agent later na caixa de diálogo.

Etapa 3: Criar uma integração Custom Logs****

Na política de agente custom-log, na aba Integration, clique em Add integration.
Na aba Browse integrations, pesquise Custom Logs e selecione o resultado.
Instale a integração Custom Logs.
1. Na página Custom Logs, clique em Set.
2. Clique em Install Custom Logs assets. Na caixa de diálogo exibida, clique em Install Custom Logs.
  
  Nota
  A versão da integração aparece na aba Settings após a instalação.
No canto superior direito da página, clique em Add Custom Logs.
Na página Add Custom Logs integration, configure a integração conforme descrito abaixo.
1. Na seção Integration Configuration, insira um Integration name.
2. Na seção Custom log file, informe o caminho do arquivo de log na instância ECS (Log file path), por exemplo, /var/log/a2.log.
3. Clique em Advanced Options e especifique um nome de dataset personalizado.
  Nota
  - O nome do dataset define o nome do índice no Elasticsearch. Definir um novo nome envia os dados para um índice diferente, o que aumenta a flexibilidade e facilita o gerenciamento.
  - Esse nome deve seguir as regras de nomenclatura de índices do Elasticsearch e permitir apenas letras, números e underscores (_).
4. Na seção Where to add this integration, na aba Existing hosts, selecione a política de agente custom-log.
Clique em Save and continue e depois em Add Elastic Agent later na caixa de diálogo.

Adicionar um agente

Etapa 1: Configurar Fleet Server hosts**

Faça login no console do Kibana. Para mais detalhes, consulte Fazer login no console do Kibana.
Clique em e acesse Management > Fleet.
Na página Fleet, clique em Set.
1. Na seção Fleet server hosts, clique em Modify Host.
2. No painel Fleet server hosts, insira o endereço IP privado do servidor source no formato https://<private IP address>:<port>, como em https://172.16.*.***:8220.
  
  Nota
  Este tópico utiliza o endereço IP privado principal da instância ECS. Para outras opções de configuração, consulte Fleet Server hosts.
3. Na seção Output, clique em na coluna Actions.
4. No painel Edit output, insira o endpoint privado do cluster Alibaba Cloud Elasticsearch no formato http://<private endpoint>:<port>, por exemplo, http://es-cn-uqm3auln80001****.elasticsearch.aliyuncs.com:9200.
5. Clique em Save and apply settings. Na caixa de diálogo exibida, clique em Save and Deploy.

Etapa 2: Adicionar um Elastic Agent**

Adicione um Elastic Agent ao servidor Fleet.

Nota

Para coletar dados de vários servidores, repita estas etapas e adicione mais agentes. Um único servidor Fleet gerencia múltiplos agentes, cada um coletando dados de seu respectivo servidor.

Na página Fleet, clique em Agent policies.
Na coluna Actions da política de agente custom-log, clique em .
No painel Add agent, em Select a policy for Fleet Server, confirme se a política selecionada é custom-log.
Em Choose a deployment mode for security, mantenha a seleção padrão Quick start.
Em Add your Fleet Server host, clique em Add Host.
Na seção Generate a service token, clique em Generate a service token.
Na seção Install Fleet Server to a centralized host, copie o bloco de código gerado automaticamente e execute-o na sua instância ECS.

Uma mensagem Successfully indica que o Elastic Agent foi instalado e está em execução na instância ECS.

Visualizar dados

Esta seção demonstra como visualizar dados de log usando como exemplo um caminho de log ECS (/var/log/a2.log) e um nome de dataset (generic).

Nota

Certifique-se de que o caminho de log especificado na instância ECS contenha dados.

Verifique o nome do data stream em Index Management.
1. Clique em e acesse Management > Stack Management.
2. No painel de navegação à esquerda, clique em Data > Index Management.
3. Na página Index Management, clique em Data Stream e localize o data stream que contém o nome do dataset generic, por exemplo, logs-generic-default.
Identifique o nome do índice correspondente ao data stream no console do Kibana.
1. Clique em e acesse Management > Dev Tools.
2. Execute o comando abaixo para obter o nome do índice associado ao data stream:
```
GET _data_Stream/logs-generic-default
```
  O valor index_name na saída representa o nome do índice.

Execute o seguinte comando para visualizar os dados de log no índice:

GET <index_name>/_search
{
  "query":{
    "match":{
      "log.file.path":"/var/log/a2.log"
    }
  }
}