Simple Log Service:Visão geral da coleta de dados

Métodos de coleta de dados

Antes de operar logs ou dados no Simple Log Service, transfira e armazene esses logs ou dados no service. Para iniciar, selecione o método de coleta de dados adequado ao seu cenário. Depois de coletar os dados no Simple Log Service, use outros recursos do service para operá-los.

Os métodos de coleta incluem: coleta de dados com Logtail, coleta com LoongCollector, coleta por sdk ou API, coleta de logs de services da Alibaba Cloud, importação de dados e outros métodos.

• Logtail-based data collection: O Logtail é um agente de coleta de logs fornecido pelo Simple Log Service. Use o Logtail para coletar logs de várias fontes de dados, como instâncias do elastic compute service (ECS) da Alibaba Cloud, servidores em data centers e servidores de provedores de services de cloud de terceiros. O Logtail permite a coleta de logs não intrusiva com base em arquivos de log. Você não precisa alterar o código da sua aplicação, e a coleta não afeta a operação das suas aplicações. Portanto, não modifique o código da sua aplicação.

• LoongCollector-based data collection: O LoongCollector é um agente de coleta de logs de nova geração fornecido pelo Simple Log Service e é uma versão atualizada do Logtail. O LoongCollector deve integrar as capacidades de agentes de coleta específicos do Application Real-Time Monitoring Service (ARMS), como a coleta de dados com o Managed Service for Prometheus e a coleta não intrusiva com a tecnologia Extended Berkeley Packet Filter (eBPF).

• Coleta de dados por sdk ou API: O Simple Log Service permite chamar sdk ou operações de API para coletar dados. Para configurar, crie personalizações no código correspondente de acordo com os requisitos do seu negócio. Em comparação com outros métodos, essa abordagem oferece um alto grau de flexibilidade.

• Alibaba Cloud service-based log collection: O Simple Log Service pode coletar logs de vários tipos de services da Alibaba Cloud, como computação elástica, armazenamento, segurança e services de banco de dados. Os logs registram estatísticas operacionais, como operações do usuário, status de execução e dinâmicas de negócios dos services da Alibaba Cloud. Para coletar logs de services da Alibaba Cloud além do Simple Log Service, selecione os métodos de coleta de acordo com o service.

• Data import: O Simple Log Service permite importar dados existentes, incluindo dados de outras aplicações e arquivos históricos.

• Other collection methods: O Simple Log Service permite o uso de ferramentas de coleta de terceiros para enviar logs ao service por meio de um protocolo específico.

A figura a seguir mostra a visão geral da coleta de dados do Simple Log Service.

Gerador de configurações do Logtail

Ao usar o Logtail ou chamar operações de API para coletar logs, use o gerador de configurações do Logtail fornecido pelo Simple Log Service. Para mais informações, consulte Logtail configuration generator. O gerador cria automaticamente a definição de recurso personalizado (CRD) AliyunPipelineConfig e um script de parâmetros para a operação CreateLogtailPipelineConfig. Para mais detalhes, consulte [[Recomendado] Gerencie configurações do Logtail com AliyunPipelineConfig](t2738434.xdita#) e CreateLogtailPipelineConfig. Assim, você pode usar a CRD AliyunPipelineConfig ou chamar a operação CreateLogtailPipelineConfig para criar uma configuração do Logtail.

Cenários de melhores práticas

A seção a seguir apresenta tutoriais de coleta de dados em cenários reais.

1. Uma empresa implanta a aplicação do seu site em uma instância ECS localizada na Região A e implanta seu projeto do Simple Log Service na Região B. A empresa deseja coletar logs da instância ECS para o projeto do Simple Log Service com uma configuração do Logtail. Esse cenário envolve a coleta de logs entre regiões. Para mais informações, consulte Collect logs across regions using Logtail.

2. Um número crescente de dispositivos de Internet das Coisas (IoT) melhora nossas vidas, como roteadores inteligentes, TV sticks, Tmall Genie e robôs aspiradores. No entanto, o modelo de desenvolvimento embarcado da indústria de software tradicional enfrenta vários desafios quando aplicado à indústria de dispositivos IoT. Por exemplo, uma grande quantidade de dispositivos IoT tem ampla distribuição, é difícil de depurar e possui recursos de hardware limitados. Para mais informações sobre como processar logs de dispositivos IoT, consulte Collect IoT and Embedded Device Logs.

3. Talvez você precise coletar dados de comportamento do usuário, como visualizar quantos usuários acessam uma página web promocional, confirmar se um destinatário leu um panfleto após o envio ou analisar as visualizações de página (PVs) de uma página de evento promocional em um aplicativo móvel. Para coletar esses dados de comportamento com eficiência e atender a requisitos personalizados de coleta e estatística, use o recurso de web tracking. Para mais informações, consulte Use web tracking to collect logs.

Para mais informações, consulte Data collection best practices.

Perguntas frequentes

• Qual tipo de rede devo usar ao configurar o Express Connect junto com o Simple Log Service? selecione o tipo adequado.

  Recomendamos que você selecione o tipo de rede interna.

• Como posso selecionar um tipo de rede e um endpoint?

  Para mais informações sobre os cenários em que você pode selecionar um tipo de rede específico, consulte Logtail network types, startup parameters, and configuration. Sobre endpoints, consulte Endpoints. Para ativar o recurso de aceleração de transferência, consulte Use the transfer acceleration feature.

• Posso obter endereços IP públicos ao coletar dados da Internet?

  Sim, ative a opção Log Public IP no seu Logstore para obter endereços IP públicos. Para mais informações, consulte Create a Logstore.

• Qual tipo de rede devo usar se quiser coletar logs do ECS da Região A para um projeto do Simple Log Service na Região B?

  Selecione o tipo Internet e especifique o nome da Região B no comando quando instale o Logtail na sua instância ECS na Região A. Isso permite que o Logtail acesse o projeto na Região B pela Internet. Para saber como selecionar um tipo de rede em outros cenários, consulte Logtail network types, startup parameters, and configuration.

• Como verificar se um endpoint está acessível?

  Execute o comando a seguir. Se o comando retornar uma saída, o endpoint está acessível. $myproject especifica o nome do projeto, e cn-hangzhou.log.aliyuncs.com especifica o endpoint.

   curl $myproject.cn-hangzhou.log.aliyuncs.com 

• Para mais informações, consulte FAQ about data collection.