Escolha um método de coleta com base no ambiente de implantação. Para coletar dados históricos em vez de logs em streaming, consulte a importação de dados.
Métodos de coleta de dados
O Simple Log Service transfere e armazena os dados de destino para permitir consulta e análise, execução de processamento de dados para transformar formato e conteúdo, ou consumo e envio de dados para sistemas de terceiros.
Todos os métodos de coleta suportam apenas coleta incremental de dados. Para coletar dados históricos, use a importação de dados.
Dois agentes principais de coleta estão disponíveis:
LoongCollector (anteriormente Logtail): Agente de coleta de logs de última geração do Simple Log Service. Implante-o em servidores, nós Kubernetes ou hosts docker para coletar logs de arquivos sem modificar o código da aplicação. Compatível com versões anteriores do Logtail, oferece desempenho aprimorado.
Coleta baseada em sdk: Use os SDKs ou APIs do Simple Log Service para gravar logs diretamente no código da aplicação. Esta opção oferece maior flexibilidade para lógicas personalizadas de coleta.
Soluções de coleta para Kubernetes
Se as aplicações forem executadas no Kubernetes, escolha um dos seguintes métodos:
-
Coletar logs de contêineres de um cluster Kubernetes: Colete logs de aplicações a partir da saída padrão ou de arquivos de texto. Antes de começar, leia as Observações sobre a coleta de logs de contêineres de um cluster Kubernetes.
Coletar logs de contêineres de um cluster usando o console (saída padrão/arquivos): Configure regras de coleta de logs pelo console. Ideal para poucos clusters e ambientes de teste.
Coletar logs de contêineres de um cluster usando CRDs do Kubernetes (saída padrão/arquivos): Use Custom Resource Definitions (CRDs) para configurar regras de coleta de logs como código. Facilita a criação de modelos e o controle de versão — recomendado para clusters de produção e pipelines de CI/CD.
Coletar dados de monitoramento do Kubernetes (métricas): Implante o Prometheus no Kubernetes, colete dados de monitoramento em um MetricStore no Simple Log Service e conecte o MetricStore ao Grafana para visualização.
Coletar eventos do Kubernetes: Use o Eventer com o Simple Log Service para coletar eventos do cluster Kubernetes.
Soluções de coleta para hosts e servidores
Se as aplicações forem executadas em instâncias ECS da Alibaba Cloud, servidores em data centers autogerenciados ou outros servidores em nuvem, selecione uma das opções abaixo:
Coletar continuamente logs de texto de hosts: O LoongCollector suporta vários formatos de log, incluindo Nginx, json, Apache, IIS e formatos separados por delimitadores. Verifique a relação entre os servidores e o projeto do Simple Log Service, pois isso determina a instalação do agente.
Coletar dados de monitoramento de host (métricas): Colete métricas de CPU, memória, carga, disco e rede dos hosts.
Coletar logs de eventos do Windows: O Simple Log Service usa APIs do Windows para assinar canais de eventos e coletar continuamente logs publicados por aplicações e pelo kernel.
Soluções de coleta para docker
Para aplicações executadas em contêineres docker, utilize um dos seguintes métodos:
Coletar logs de contêineres docker (saída padrão/arquivos): Colete a saída padrão (stdout/stderr) e arquivos de log de texto de contêineres docker.
Coletar eventos do docker: Colete eventos do docker, incluindo ciclo de vida do contêiner, operações de imagem, atividade de plug-ins, alterações de rede e interações com volumes de armazenamento.
Coleta de serviços da Alibaba Cloud
Coleta de logs de serviços da Alibaba Cloud: O Simple Log Service coleta logs de serviços da Alibaba Cloud nas categorias de computação elástica, armazenamento, segurança e banco de dados. Esses logs incluem eventos operacionais, status de execução e registros de atividades comerciais.
Soluções de coleta para middleware
Coletar resultados de consultas SQL: Colete resultados de consultas do SQL Server, MySQL e PostgreSQL.
-
Coletar logs de front-end e serviços web:
Usar WebTracking para coletar logs de front-end: O WebTracking coleta dados de comportamento do usuário de navegadores, mini programas e clientes móveis ao adicionar um trecho de código à página de front-end.
Coletar dados HTTP: Envie periodicamente solicitações para uma URL especificada e carregue o corpo da resposta no Simple Log Service como uma entrada de log.
Coletar logs do Unity3D: Use o WebTracking para coletar logs do Unity3D.
Integração com ecossistemas de terceiros
-
Integrar com outros agentes e protocolos de código aberto para coletar logs: O Simple Log Service aceita logs de diversas ferramentas e protocolos de código aberto:
Use a configuração de sink do Loggie para carregar logs coletados no Simple Log Service.
Use o Log4j2 Appender para enviar logs diretamente da aplicação Java.
Use o Syslog-ng para coletar logs e encaminhá-los pelo protocolo Syslog.
Use ferramentas como Kafka Producer sdk, família Beats de shippers, Collectd, Fluentd, Logstash, Telegraf e Vector para coletar logs e carregá-los no Simple Log Service via protocolo Kafka.
Integrar dados de monitoramento do Telegraf: Grave dados de monitoramento coletados pelo Telegraf (de MySQL, Redis, Elasticsearch, ClickHouse, Kafka, Tomcat, entre outros) no LoongCollector usando o protocolo InfluxDB. Em seguida, o LoongCollector carrega os dados no Simple Log Service.
Coletar dados de monitoramento do Open-Falcon: Configure o Transfer para carregar dados do Open-Falcon no Simple Log Service. A versão do Open-Falcon deve incluir o recurso de suporte ao InfluxDB.
Ingerir dados de monitoramento do Prometheus usando o protocolo Remote Write: Ative o recurso Remote Write no Prometheus para enviar dados de monitoramento diretamente ao Simple Log Service.
Coleta via sdk
Coleta baseada em sdk: O Simple Log Service fornece SDKs para Java, Python, PHP, Node.js, C, Go, iOS, Android e C++. Use esses SDKs para gravar logs ou gravar dados de séries temporais.
Importação de dados
Importe dados existentes de outras aplicações ou arquivos históricos para o Simple Log Service para análise.
O Simple Log Service coleta apenas logs incrementais. Para coletar logs históricos, importe arquivos de log históricos.
Mascaramento e criptografia de dados
Criptografia de dados: O Simple Log Service suporta criptografia de dados em repouso usando o Key Management Service (KMS) e criptografia em trânsito via HTTPS.
-
Processamento de dados: Aplique mascaramento de dados em diferentes estágios do pipeline de dados:
Processar dados durante a coleta (plug-ins de processador): Requer LoongCollector. O mascaramento é executado no servidor local antes da transmissão e consome recursos desse servidor.
Processar dados durante a ingestão (processadores de ingestão): O mascaramento ocorre após a transmissão, mas antes do armazenamento, e consome recursos do Simple Log Service. Os dados são armazenados somente após a conclusão do processamento.
Processar dados após a ingestão (processamento de dados): Mascare dados já armazenados no Simple Log Service antes de enviá-los para outro Logstore ou sistema de terceiros.
Cenários avançados de coleta
Coletar logs entre regiões: A aplicação é executada na região A e o projeto do Simple Log Service está na região B. Esta solução explica como enviar logs de uma instância ECS na região A para o projeto na região B.
Coletar logs entre contas: Colete centralmente logs de aplicações executadas em contas separadas em uma única conta para gerenciamento unificado.
Coletar logs de dispositivos IoT e embarcados: Dispositivos IoT, como roteadores inteligentes, TV sticks, Tmall Genie e robôs aspiradores, são numerosos, amplamente distribuídos, difíceis de depurar e limitados por hardware. Esta solução explica como lidar com a coleta de logs desses dispositivos.
Soluções de alta disponibilidade para coleta de dados no lado do cliente: Duas soluções ativas-ativas e georreduntantes reduzem o risco de falhas em cluster único: gravação dupla e replicação de dados com alternância de gravação.
Coletar logs de servidores em uma rede interna: Se os servidores não tiverem acesso à rede pública, use um proxy para coletar logs e encaminhá-los ao Simple Log Service.
Para mais soluções, consulte as Melhores práticas de coleta de dados.
Perguntas frequentes
-
Qual tipo de rede devo selecionar se usar o Express Connect para acesso?
Selecione a rede interna da Alibaba Cloud — rede clássica ou Virtual Private Cloud (VPC).
-
Como selecionar um tipo de rede e um endpoint?
Tipo de rede: Tipos de transporte de rede do LoongCollector.
Endpoint: Encontre o endpoint de serviço para sua região.
-
Posso coletar endereços IP públicos ao coletar dados da rede pública?
Sim. Consulte como Adicionar automaticamente endereços IP públicos e carimbos de data/hora de chegada aos logs.
-
Como solucionar problemas de coleta?
Consulte a Solução de problemas para erros de coleta do LoongCollector.
Para mais dúvidas, consulte as Perguntas frequentes sobre coleta de dados.