Configurar grupos de máquinas para o LoongCollector - Simple Log Service: Central de Documentação do Alibaba Cloud

Após instalar o LoongCollector em um servidor, crie um grupo de máquinas para gerenciar o servidor como um recurso no Simple Log Service (SLS). Em seguida, crie uma configuração de coleta do LoongCollector para definir regras de coleta de dados. Para aplicar essas regras a um servidor, aplique a configuração de coleta ao grupo de máquinas do servidor.

Conceitos fundamentais e suas relações

O que é um grupo de máquinas

Um grupo de máquinas é um agrupamento lógico de servidores gerenciados como um recurso único em um projeto do SLS. O SLS utiliza grupos de máquinas para gerenciar servidores. Um servidor se associa a um grupo de máquinas por meio de heartbeats.

O SLS oferece dois tipos de grupos de máquinas:

Grupo de máquinas baseado em endereço IP

Para usar um grupo de máquinas baseado em endereço IP, adicione os endereços IP dos servidores ao grupo de máquinas.

Esse tipo de grupo de máquinas é mais fácil de criar e configurar.
Se ocorrer um conflito de endereço IP ou se um endereço IP for alterado, o heartbeat poderá falhar, afetando a coleta de dados.

Grupo de máquinas baseado em identificador personalizado

Crie uma associação configurando uma string personalizada como identificador no grupo de máquinas e adicionando essa string a um arquivo de identificador no servidor. É possível adicionar vários identificadores personalizados ao arquivo de identificador em um servidor. Cada identificador deve estar em uma nova linha.

O processo de configuração é mais complexo do que o de um grupo de máquinas baseado em endereço IP. No entanto, esse método evita falhas na coleta de dados causadas por conflitos de endereço IP, que podem ocorrer em ambientes de rede personalizados, como uma VPC.
Esse tipo de grupo de máquinas oferece suporte a dimensionamento automático. Ao configurar novos servidores com o mesmo identificador personalizado, o SLS detecta e adiciona automaticamente ao grupo de máquinas. Por outro lado, se não for mais necessário coletar logs de um servidor, exclua o arquivo de identificador, e o grupo de máquinas removerá o servidor automaticamente.
Um sistema de negócios geralmente consiste em vários módulos, e cada módulo pode ser dimensionado horizontalmente adicionando servidores. Para coletar e classificar dados de log com eficiência, recomenda-se criar um grupo de máquinas separado para cada módulo. Por exemplo, um site pode consistir em um módulo de solicitação HTTP, um módulo de lógica e um módulo de armazenamento. Defina seus identificadores personalizados como http_module, logic_module e store_module.

Como criar um grupo de máquinas

Para estabelecer uma associação baseada em heartbeat entre um grupo de máquinas e um servidor, primeiro instale o agente LoongCollector no servidor. Recomenda-se criar um grupo de máquinas ao instalar o agente. Para mais informações, consulte Instalar o LoongCollector ou Instalação e configuração.

O que é uma configuração de coleta do LoongCollector

Uma configuração de coleta é um conjunto de regras fundamentais que definem como coletar e processar dados. Ela permite configurar opções para coletar, analisar, filtrar e processar dados com eficiência. Uma configuração de coleta é associada a um grupo de máquinas para aplicar as regras de coleta a todos os servidores desse grupo. O processamento ocorre no próprio servidor, consumindo recursos locais. Uma configuração de coleta consiste nas três partes a seguir:

Configuração global: inclui o nome da configuração de coleta, o tópico de log e as tags. Use tópicos e tags para marcar e classificar os logs coletados.
Configuração de entrada: define o tipo de dados a serem coletados, como entrada de arquivo, saída padrão de cluster, resultados de consulta SQL ou entrada HTTP. Também define informações específicas para cada tipo de dados, como o caminho de coleta e a origem.
Configuração de processamento: define as regras de análise de dados usando uma combinação de plugins. Isso permite formatar os dados conforme necessário por meio de ações como filtragem, desensibilização, correspondência com expressões regulares ou análise de dados em formato JSON.

Como criar uma configuração de coleta

Uma configuração de coleta deve ser associada a um grupo de máquinas para aplicar suas regras aos servidores desse grupo. Portanto, recomenda-se criar a configuração de coleta com base no tipo de origem de dados e seguir o processo completo de coleta de dados. Para mais informações, consulte Coleta de dados de log.

Relação entre grupos de máquinas e configurações de coleta

O SLS oferece suporte a uma relação de muitos para muitos entre configurações de coleta e grupos de máquinas: uma única configuração de coleta pode ser aplicada a vários grupos de máquinas, e um único grupo de máquinas pode usar várias configurações de coleta. Como as configurações de coleta são associadas a grupos de máquinas, ao adicionar ou remover um servidor de um grupo de máquinas, as configurações de coleta correspondentes são aplicadas ou removidas automaticamente desse servidor. Esse design desacopla os servidores das configurações de coleta. Observe que todos os servidores de um mesmo grupo de máquinas devem usar o mesmo sistema operacional.

Casos de uso para associar grupos de máquinas a configurações de coleta

Coletar logs de vários diretórios

Requisito: coletar logs de /var/log/messages e /opt/app/logs/*.log e enviá-los para o mesmo Logstore.

Solução:

Crie duas configurações de coleta no Logstore de destino. Defina o caminho de uma configuração como /var/log/messages e o caminho da outra como /opt/app/logs/*.log.
Aplique as duas configurações de coleta ao mesmo grupo de máquinas.
O SLS coleta dados dos caminhos /var/log/messages e /opt/app/logs/*.log em todos os servidores do grupo de máquinas e envia os dados para o Logstore de destino.

Enviar logs do mesmo servidor para vários Logstores

Requisito: enviar vários tipos de logs de diferentes diretórios em um único servidor para diferentes Logstores.

Solução:

Crie diferentes configurações de coleta em diferentes Logstores.
Se várias configurações coletarem dados do mesmo arquivo, ative Allow a file to be collected multiple times na configuração de entrada. Para mais informações, consulte Coleta múltipla de logs.
Aplique essas configurações de coleta ao mesmo grupo de máquinas.
O SLS envia os diferentes logs dos servidores do grupo de máquinas para os Logstores correspondentes com base nas configurações de coleta.

Centralizar logs de diferentes servidores

Requisito: coletar um tipo específico de log de vários servidores em diferentes grupos de máquinas e salvar os logs no mesmo Logstore.

Solução:

Crie uma configuração de coleta no Logstore de destino.
Aplique essa configuração de coleta aos vários grupos de máquinas que contêm os servidores.
O SLS coleta logs dos servidores nos grupos de máquinas especificados e os envia para o Logstore de destino.

Alterar as regras de coleta em um servidor

Requisito 1: as regras de uma configuração de coleta aplicada estão desatualizadas ou não atendem mais às suas necessidades, e você deseja usar uma configuração de coleta diferente.

Solução:

Faça login no console do Simple Log Service. Na lista Projects, clique no projeto de destino. No painel de navegação à esquerda, escolha Resources > Machine Groups. Na página Machine Groups, selecione o grupo de máquinas que deseja modificar. Em seguida, na página Machine Group Configurations, clique em Modify.
No painel Manage Configuration, visualize a lista de configurações de coleta disponíveis à esquerda. Selecione as configurações necessárias e mova-as para a lista de aplicadas à direita.

Requisito 2: aplicar uma configuração de coleta existente ao adicionar um novo servidor, ou interromper a coleta de logs de um servidor existente.

Solução:

Faça login no console do Simple Log Service. Na lista Projects, clique no projeto de destino. No painel de navegação à esquerda, escolha Resources > Machine Groups. Na página Machine Groups, selecione o grupo de máquinas que deseja modificar e modifique as configurações na página Machine Group Configurations.
Modifique os servidores no grupo de máquinas para aplicar ou remover a configuração de coleta:
1. Para um grupo de máquinas baseado em endereço IP, adicione ou exclua endereços IP no campo IP Address. Separe vários endereços IP com novas linhas.
  O endereço IP deve corresponder ao valor do campo ip no arquivo /usr/local/ilogtail/app_info.json no servidor.
2. Para um grupo de máquinas baseado em identificador personalizado, configure o mesmo Custom Identifier no novo servidor. Esse método permite o dimensionamento automático. Novos servidores com o identificador são adicionados automaticamente, enquanto servidores com o arquivo de identificador removido são desregistrados automaticamente.
null
Adicionar um servidor a um grupo de máquinas não instala automaticamente o LoongCollector. Primeiro, instale o LoongCollector no novo servidor.