O LoongCollector é um coletor de dados de última geração para o Simple Log Service (SLS), desenvolvido para unir desempenho, estabilidade e programabilidade na construção de pipelines de observabilidade. Diferente dos coletores tradicionais, restritos a cenários únicos, o LoongCollector coleta, processa, roteia e envia logs, métricas, traces, eventos e profiles por meio de um agente unificado.
Cenários de coleta
O LoongCollector oferece suporte aos seguintes métodos de coleta de dados:
Coletar logs de texto de hosts: Captura logs diretamente de arquivos em hosts.
Coletar logs de contêineres de clusters Kubernetes: Obtém logs dos contêineres em seus clusters.
Coletar dados HTTP: Registra o conteúdo do corpo das requisições HTTP.
Coletar resultados de consultas SQL: Recupera os resultados de consultas SQL específicas.
Todos os cenários compatíveis estão listados em Coleta de dados de log.
Principais vantagens
Integração de coleta no dispositivo
Um único agente LoongCollector gerencia logs, métricas, traces, eventos e profiles de ponta a ponta. Em ambientes Kubernetes, ele utiliza a API da Container Runtime Interface (CRI) para anexar automaticamente rótulos de metadados, como Namespace, Pod e Container, aos dados coletados, sem exigir alterações nas configurações do contêiner.
Pipelines programáveis flexíveis
O LoongCollector integra a Structured Process Language (SPL) a mecanismos de plugins multilinguagem, formando um sistema de pipeline totalmente programável.
Escolha plugins nativos para garantir eficiência de execução e complemente-os com plugins estendidos, ou utilize o mecanismo SPL para obter cobertura abrangente de operadores sobre dados complexos.
|
Mecanismo programável |
Classificação |
Recursos |
|
Plugin nativo |
Implementação em C++. Oferece alto desempenho, baixa sobrecarga de recursos e cobertura de operadores relativamente completa. |
|
|
Plugin estendido |
Implementação em Go. Proporciona alto desempenho, baixo consumo de recursos e cobertura de operadores relativamente completa. |
|
|
Mecanismo SPL |
Implementação em C++. Apresenta alto desempenho, baixa sobrecarga de recursos, modelo colunar com execução vetorizada, mais de 100 operadores e design de pipeline voltado para processamento complexo de dados. |
Alto desempenho e confiabilidade
O LoongCollector proporciona uma coleta de dados de observabilidade estável e eficiente para sistemas distribuídos de grande escala.
Alto desempenho: Processos principais livres de bloqueio, arquitetura orientada a eventos e throughput de centenas de MB/s em thread única nos cenários essenciais.
Alta confiabilidade: Agendamento justo por fatias de tempo, controle de contrapressão baseado em marca d'água de fila, isolamento de dados em pipelines multilocatários e streaming de dados com cópia zero.
Pronto para produção em escala: A edição comercial está implantada em dezenas de milhões de instâncias no Alibaba Group, Ant Group e em clientes da nuvem pública. Sua robustez foi validada durante promoções de vendas online e em cenários extremos.