Após instale o LoongCollector em um servidor, crie um grupo de máquinas para gerencie o servidor como um recurso no Simple Log service (SLS). Em seguida, crie uma configuração de coleta do LoongCollector para defina as regras de coleta de dados. Para aplicar essas regras a um servidor, aplique a configuração de coleta ao grupo de máquinas desse servidor.
Conceitos principais e suas relações
O que é um grupo de máquinas
Um grupo de máquinas é um agrupamento lógico de servidores gerenciados como um único recurso dentro de um projeto do SLS. O SLS usa grupos de máquinas para gerencie servidores. A associação de um servidor a um grupo de máquinas ocorre por meio de heartbeats.
O SLS fornece os seguintes dois tipos de grupos de máquinas:
Grupo de máquinas baseado em endereço IP
Para usar um grupo de máquinas baseado em endereço IP, adicione os endereços IP dos seus servidores ao grupo de máquinas.
crie e configure esse tipo de grupo de máquinas é mais simples.
Se ocorrer um conflito de endereço IP ou se um endereço IP mudar, o heartbeat pode falhar, o que afeta a coleta de dados.
Grupo de máquinas baseado em identificador personalizado
crie uma associação configure uma string personalizada como identificador no grupo de máquinas e adicionando essa string a um arquivo de identificador no servidor. É possível adicionar vários identificadores personalizados ao arquivo de identificador em um servidor. Cada identificador deve estar em uma nova linha.
O processo de configuração é mais complexo do que o de um grupo de máquinas baseado em endereço IP. No entanto, esse método evita falhas na coleta de dados causadas por conflitos de endereço IP, que podem ocorrer em ambientes de rede personalizados, como uma vpc.
Esse tipo de grupo de máquinas oferece suporte ao dimensionamento automático. Se você configure novos servidores com o mesmo identificador personalizado, o SLS os detectará e adicionará automaticamente ao grupo de máquinas. Por outro lado, se não for mais necessário coletar logs de um servidor, exclua o arquivo de identificador dele e o grupo de máquinas removerá o servidor automaticamente.
Um sistema de negócios geralmente consiste em vários módulos, e você pode dimensionar horizontalmente cada módulo adicionando servidores. Para coletar e classificar dados de log de forma eficiente, recomendamos crie um grupo de máquinas separado para cada módulo. Por exemplo, um site pode consistir em um módulo de solicitação http, um módulo de lógica e um módulo de armazenamento. defina os identificadores personalizados deles como
http_module,logic_moduleestore_module.
Como criar um grupo de máquinas
Para estabelecer uma associação baseada em heartbeat entre um grupo de máquinas e um servidor, primeiro instale o agente do LoongCollector no servidor. Recomendamos crie um grupo de máquinas ao instale o agente. Para mais informações, consulte instale LoongCollector ou instale and configuration.
O que é uma configuração de coleta do LoongCollector
Uma configuração de coleta é um conjunto de regras principais que definem como coletar e processar dados. Ela permite configure definições para coletar, analisar, filtrar e processar dados de forma eficiente. Uma configuração de coleta é anexada a um grupo de máquinas para aplicar as regras de coleta a todos os servidores desse grupo. O processamento ocorre no próprio servidor, consumindo recursos locais. Uma configuração de coleta consiste nas três partes a seguir:
Configuração global: inclui o nome da configuração de coleta, o tópico do log e as tags. Use tópicos e tags para marcar e classificar os logs coletados.
Configuração de entrada: define o tipo de dado a ser coletado, como entrada de arquivo, saída padrão de cluster, resultados de consulta SQL ou entrada HTTP. Também define informações específicas para cada tipo de dado, como o caminho de coleta e a source.
Configuração de processamento: define as regras para analisar dados usando uma combinação de plugins. Isso permite formatar os dados conforme necessário, executando ações como filtragem, dessensibilização, correspondência com expressões regulares ou análise de dados formatados em JSON.
Como criar uma configuração de coleta
Uma configuração de coleta deve ser anexada a um grupo de máquinas para aplicar suas regras aos servidores desse grupo. Portanto, recomendamos crie a configuração de coleta com base no tipo de source de dados e seguir o processo completo de coleta de dados. Para mais informações, consulte Log data collection.
Relação entre grupos de máquinas e configurações de coleta
O SLS oferece suporte a uma relação de muitos para muitos entre configurações de coleta e grupos de máquinas: uma única configuração de coleta pode ser aplicada a vários grupos de máquinas, e um único grupo de máquinas pode usar várias configurações de coleta. Como as configurações de coleta são anexadas aos grupos de máquinas, se você adicionar ou remover um servidor de um grupo de máquinas, as configurações de coleta correspondentes serão automaticamente aplicadas ou removidas desse servidor. Esse design desacopla os servidores das configurações de coleta. Observe que todos os servidores dentro de um único grupo de máquinas devem usar o mesmo sistema operacional.
Casos de uso para associar grupos de máquinas a configurações de coleta
Coletar logs de vários diretórios
Requisito: você precisa coletar logs de /var/log/messages e /opt/app/logs/*.log e enviá-los para o mesmo logstore.
Solução:
crie duas configurações de coleta no logstore de destino. defina o caminho de uma configuração como
/var/log/messagese o caminho da outra como/opt/app/logs/*.log.Aplique as duas configurações de coleta ao mesmo grupo de máquinas.
O SLS coleta dados dos caminhos
/var/log/messagese/opt/app/logs/*.logem todos os servidores do grupo de máquinas e envia os dados para o logstore de destino.
Enviar logs do mesmo servidor para vários logstores
Requisito: você precisa enviar vários tipos de logs de diretórios diferentes em um único servidor para logstores diferentes.
Solução:
-
crie configurações de coleta diferentes em logstores diferentes.
Se várias configurações coletarem dados do mesmo arquivo, você deve ative Allow a file to be collected multiple times na configuração de entrada. Para mais informações, consulte Multiple log collections .
Aplique essas configurações de coleta ao mesmo grupo de máquinas.
O SLS envia os diferentes logs dos servidores no grupo de máquinas para os logstores correspondentes com base nas configurações de coleta.
Centralizar logs de servidores diferentes
Requisito: você precisa coletar um tipo específico de log de vários servidores que estão em grupos de máquinas diferentes e salve os logs no mesmo logstore.
Solução:
crie uma configuração de coleta no logstore de destino.
Aplique essa configuração de coleta aos vários grupos de máquinas que contêm os servidores.
O SLS coleta logs dos servidores nos grupos de máquinas especificados e os envia para o logstore de destino.
Alterar as regras de coleta em um servidor
Requisito 1: as regras em uma configuração de coleta aplicada estão desatualizadas ou não atendem mais às suas necessidades, e você deseja usar uma configuração de coleta diferente.
Solução:
Faça login no Simple Log service console. Na lista Projects, clique em no projeto de destino. No painel de navegação à esquerda, escolha . Na página Machine Groups, selecione o grupo de máquinas que você deseja modifique. Em seguida, na página Machine Group Configurations, clique em Modify.
No painel Manage Configuration, visualize a lista de configurações de coleta disponíveis à esquerda. Selecione as configurações necessárias e mova-as para a lista aplicada à direita.
Requisito 2: você precisa aplicar uma configuração de coleta existente ao adicionar um novo servidor, ou precisa parar de coletar logs de um servidor existente.
Solução:
Faça login no Simple Log service console. Na lista Projects, clique em no projeto de destino. No painel de navegação à esquerda, escolha . Na página Machine Groups, selecione o grupo de máquinas que deseja modifique e, em seguida, modifique suas configurações na página Machine Group Configurations.
-
Modifique os servidores no grupo de máquinas para aplicar ou remover a configuração de coleta:
-
Para um grupo de máquinas baseado em endereço IP, adicione ou exclua endereços IP no campo IP Address. Separe vários endereços IP com novas linhas.
O endereço IP deve corresponder ao valor do campo
ipno arquivo /usr/local/ilogtail/app_info.json no servidor. Para um grupo de máquinas baseado em identificador personalizado, configure o mesmo Custom Identifier no novo servidor. Esse método permite o dimensionamento automático. Novos servidores com o identificador são adicionados automaticamente, enquanto os servidores com o arquivo de identificador removido são cancelados automaticamente.
NotaAdicionar um servidor a um grupo de máquinas não instale o LoongCollector automaticamente. Primeiro, instale o LoongCollector no novo servidor.
-