CDN:Melhores práticas para análise de logs em tempo real do CDN

Visão geral

O recurso de log em tempo real, resultado da integração entre o Alibaba Cloud CDN e o Simple Log Service (SLS), oferece processamento de logs com baixa latência. Essa funcionalidade envia logs de acesso dos pontos de presença (POPs) do Alibaba Cloud CDN para o Simple Log Service com latência típica de aproximadamente 3 minutos. Assim, você pode usar o SLS para armazenar e analisar dados de acesso. Ao acelerar seu site com o Alibaba Cloud CDN, o sistema registra logs de acesso a recursos como imagens e vídeos. A análise desses logs permite compreender sua base de usuários, monitorar a qualidade do acesso ou identificar e resolver problemas rapidamente.

Pré-requisitos

• Ative o Alibaba Cloud CDN e adicione um nome de domínio acelerado. Para mais informações, consulte Activate Alibaba Cloud CDN.

• Ative o Simple Log Service. Para mais informações, consulte Get started with Simple Log Service.

• Configure a entrega de logs em tempo real para o nome de domínio acelerado cujos dados de acesso você deseja analisar. Para mais informações, consulte Configure real-time log delivery.

Diferenças entre logs em tempo real e logs offline

• Latência do log

  Os logs em tempo real apresentam latência de três minutos ou menos. Já os logs offline geralmente têm latência de dados de até 24 horas.

• Análise de logs

  O recurso de log em tempo real integra as capacidades de armazenamento e análise do Simple Log Service. Ele oferece quatro relatórios de análise predefinidos: Basic Data, Access Errors, Frequently Requested Resources e User Composition. Além disso, suporta análise personalizada de logs e fornece uma solução completa para armazenamento e análise. Em comparação, os logs offline suportam apenas o envio para o Object Storage Service e não possuem capacidades nativas de análise.

Benefícios

• Baixa latência

  Os dados de log ficam disponíveis em até três minutos. Isso permite analisar rapidamente os logs de acesso, identificar problemas e responder com agilidade.

• Serviço completo

  A análise de logs offline envolve múltiplas etapas: baixe os logs, enviá-los a um data warehouse e depois limpar e modelar os dados antes da análise. Esse processo consome muito tempo e esforço. O recurso de log em tempo real integra as capacidades de armazenamento e análise do Simple Log Service para simplificar esse fluxo de trabalho.

Casos de uso

Use logs em tempo real para solucionar problemas em seus nomes de domínio acelerados e compreender os padrões de acesso dos usuários. O recurso de log em tempo real do Alibaba Cloud CDN fornece relatórios predefinidos e suporta análises personalizadas para atender a diversas necessidades.

Relatórios predefinidos de análise de logs

Na página de logs em tempo real, localize o Project que deseja analisar e clique em View Report para abrir a página do modelo de relatório.

Por padrão, a página do modelo de relatório exibe dados de todos os nomes de domínio. Você também pode consultar dados de um nome de domínio ou URI específico.

Para mais informações, consulte os seguintes tópicos:

• Preset report: CDN Basic Data

• Preset report: CDN Access Errors

• Preset report: CDN Frequently Requested Resources

• Preset report: CDN User Composition

• Subscribe to report template data

Análise personalizada de logs

Caso os relatórios predefinidos não atendam às suas necessidades, use os recursos avançados de análise do Simple Log Service para realizar análises personalizadas.

Por exemplo, você pode classificar nomes de domínio pelo número de solicitações que retornaram código de status HTTP 499 ou 502.

Na página de logs em tempo real, localize o Project que deseja analisar e clique em Log analysis para acessar a página de análise personalizada.

Na página de análise personalizada, insira uma consulta na caixa de pesquisa para realizar buscas complexas. Para filtragem simples, clique em nos campos de log no painel Raw Logs.

À direita da barra de pesquisa, especifique um intervalo de tempo usando o seletor de tempo, por exemplo, 15 Minutes (Relative). Em seguida, clique em Query / Analysis para executar a consulta. O painel Quick Analysis à esquerda lista os campos de log filtráveis, incluindo client_ip, content_type, domain, hit_info e method.

Para mais informações, consulte Custom reports.

Criar um Project de entrega de logs em tempo real

Crie um Project do Simple Log Service para armazenar logs em tempo real de um nome de domínio acelerado específico, como aliyun.example.com. Para mais informações, consulte Configure real-time log delivery.

Após a criação do Project, o nome do Project será project-example, o nome do Logstore será project-example e a região de armazenamento de logs será China (Hangzhou) (cn-hangzhou).

Relatório predefinido: CDN Basic Data

Este relatório ajuda a entender a qualidade geral do service do Alibaba Cloud CDN e a eficiência de acesso para usuários finais, incluindo taxa de acerto de cache, latência de acesso e velocidade de download. Isso possibilita respostas rápidas a problemas de qualidade do service.

O relatório fornece os seguintes dados, que podem ser visualizados de forma agregada ou filtrados por nome de domínio ou URI:

• Saúde: porcentagem de solicitações que retornaram código de status HTTP normal.

• Taxa de acerto de cache: média da taxa de acerto de cache para recursos, calculada em bytes.

• Velocidade de download: velocidade média de download dos recursos.

• Status de acesso: porcentagem de cada código de status HTTP. Útil para verificar rapidamente a proporção de códigos anormais.

• Distribuição de latência de acesso: proporção de solicitações em cada faixa de latência.

• Largura de banda de solicitação: valor da largura de banda com granularidade de um minuto.

• Visualizações de página/Visitantes únicos: número total de visualizações de página (PV) e visitantes únicos (UV).

• Taxa de acerto de solicitações: taxa de acerto de cache calculada pelo número de solicitações.

• Latência de acesso: latência média para download de recursos.

Relatório predefinido: CDN Access Errors

Este relatório auxilia na localização rápida da source de exceções de acesso, como problemas com URIs específicos, falhas no servidor de source, POPs indisponíveis ou problemas de rede em determinadas regiões ou ISPs.

O relatório fornece os seguintes dados, que podem ser visualizados de forma agregada ou filtrados por nome de domínio ou URI:

• Top 10 nomes de domínio por erro: principais nomes de domínio classificados pela porcentagem de erros de acesso.

• Top 10 URIs por erro: principais URIs classificados pela porcentagem de erros de acesso.

• Porcentagem de erros de solicitação: porcentagem de solicitações com códigos de status HTTP 4xx e 5xx ao longo do tempo.

• Distribuição de solicitações com erro: contagem e proporção de cada código de status HTTP.

• Erros por ISP: número de solicitações com códigos de status HTTP 4xx e 5xx, agrupadas por ISP.

• Erros por província: número de solicitações com códigos de status HTTP 4xx e 5xx, agrupadas por província.

• Detalhes de erros (4xx): contagem e proporção de solicitações com códigos de status HTTP 4xx, agrupadas por província e ISP.

• Detalhes de erros (5xx): contagem e proporção de solicitações com códigos de status HTTP 5xx, agrupadas por província e ISP.

• Distribuição de erros por cliente: contagem e proporção de solicitações com códigos de status HTTP 4xx e 5xx, agrupadas pelo User-Agent do cliente.

Relatório predefinido: CDN Frequently Requested Resources

Este relatório oferece insights sobre recursos populares ao identificar os principais nomes de domínio, URIs, províncias e ISPs. Esses dados ajudam a avaliar a eficácia de campanhas de marketing e a determinar se o tráfego nos horários de pico atende às expectativas, permitindo ajustar sua estratégia operacional.

O relatório fornece os seguintes dados, que podem ser visualizados de forma agregada ou filtrados por nome de domínio ou URI:

• Principais nomes de domínio por visitas: nomes de domínio classificados pela porcentagem do total de visitas.

• Principais nomes de domínio por tráfego de download: nomes de domínio classificados pela porcentagem do tráfego total de download.

• URIs frequentemente solicitados: número de visitas, visitantes únicos e downloads totais para cada URI.

• Fontes de acesso populares: principais nomes de domínio de source Referer, com contagens de visitas, visitantes únicos e porcentagens.

• Visitas na China continental: número médio de visitas, agrupadas por província.

• Velocidade de download nacional: velocidade média de download para cada província.

• Estatísticas por província: total de visitas, tráfego total de download e velocidade média de download para cada província.

• Tráfego e velocidade por ISP: tráfego total de download e velocidade média de download para cada ISP.

• Estatísticas por ISP: total de visitas, tráfego total de download e velocidade média de download para cada ISP.

Relatório predefinido: CDN User Composition

Este relatório ajuda a compreender a composição da base de usuários do seu site, incluindo tipos de cliente, províncias e ISPs. Também é possível identificar os principais usuários por número de visitas ou volume de dados baixados.

O relatório fornece os seguintes dados, que podem ser visualizados de forma agregada ou filtrados por nome de domínio ou URI:

• Visualizações de página: número total de visualizações de página (PVs).

• Visitantes únicos: número total de visitantes únicos (UVs).

• Distribuição por região de source: número e proporção de visitas de cada província.

• Visitas por cliente: número e proporção de visitas de cada tipo de cliente.

• Visitas por ISP: número e proporção de visitas de cada ISP.

• Principais usuários por downloads: total de visitas, visitas com erro e downloads totais para cada endereço IP de usuário.

• Principais usuários por visitas válidas: total de visitas, visitas com erro e downloads totais para cada endereço IP de usuário, excluindo solicitações inválidas (aquelas com códigos de status 4xx e 5xx).

Assinar dados do modelo de relatório

Use o recurso de assinatura para receber periodicamente dados de um modelo de relatório enviados pelo Simple Log Service.

Procedimento

1. Por exemplo, na página CDN Basic Data, clique em Subscribe no canto superior direito e, em seguida, clique em Create. No painel de navegação à esquerda do console CDN, escolha Log Management. Na página Log Reports, clique em no botão Subscribe no canto superior direito.

2. No painel exibido, configure Subscription Name, Frequency e Global Time, e clique em Next.

3. Na lista suspensa Notification List, selecione um método de notificação, especifique as informações necessárias e clique em Submit.

   Os métodos de notificação suportados incluem e-mail, WebHook-DingTalk Bot, WebHook-Feishu Chat Bot, Webhook-WeCom Bot e WeChat.

Relatórios personalizados

• Exemplo 1: Visualize os principais nomes de domínio com mais códigos de status HTTP 499 nos últimos 30 dias.

  Consulta de análise de log: return_code = 499| select domain , count(*) as c group by domain order by c desc limit 10

• Exemplo 2: Visualize os principais nomes de domínio com mais códigos de status HTTP 502 nos últimos 30 dias.

  Consulta de análise de log: return_code = 502| select domain , count(*) as c group by domain order by c desc limit 10

• Exemplo 3: Visualize dados de log para o URI /cpu dos últimos 30 dias.

  No painel Raw Logs, clique em no campo URI e, em seguida, clique em /cpu para filtrar os logs.

  Após a filtragem, a barra de pesquisa gera automaticamente a consulta * and uri : "/cpu". O painel Quick Analysis à esquerda mostra que o campo uri com o valor /cpu corresponde a 53% dos resultados.