Exemplos comuns de consulta de log em tempo real do OSS - Object Storage Service: Central de Documentação do Alibaba Cloud

Use o recurso de consulta de log em tempo real do Simple Log Service (SLS) para analisar logs de acesso do OSS e logs de medição por hora. Esse recurso permite monitorar e otimizar o uso do OSS, identificar e analisar problemas e melhorar a eficiência de armazenamento e acesso. Este tópico apresenta exemplos comuns de consultas de log em tempo real.

Analisar o tráfego de saída pela Internet para arquivos em uma pasta do OSS

As consultas de uso do OSS não podem ser limitadas a uma pasta específica. Para calcular o tráfego de saída pela Internet dos arquivos em uma pasta, analise os logs de acesso do OSS. Nos logs, filtre pelo endpoint público por meio do campo host, exclua as solicitações de origem CDN com o campo sync_request e encontre os arquivos pelo prefixo do campo object. Por fim, some os valores do campo response_body_length para obter o tráfego total.

Instrução de consulta

Calcule o tráfego de saída total pela Internet de todos os arquivos na pasta exampledir do bucket examplebucket.

* and __topic__ : oss_access_log and bucket: examplebucket and host : "examplebucket.oss-cn-hangzhou.aliyuncs.com" not sync_request : cdn | select
  SUM(response_body_length) AS total_traffic_out_byte
WHERE
  url_decode(object) LIKE 'exampledir/%'

Resultados da consulta

null

O campo host em uma solicitação pode ser falsificado, portanto os resultados da consulta são apenas estimativas. Consulte sua fatura para saber os custos reais do tráfego de saída pela Internet do OSS.

O tráfego de saída total pela Internet de todos os arquivos na pasta exampledir do bucket examplebucket é de 11.749 bytes.

Analisar alterações no tamanho de arquivos em uma pasta do OSS

As consultas de uso do OSS mostram as alterações de tamanho de todos os arquivos em um bucket, mas não de uma pasta específica. Para analisar as alterações de tamanho em uma pasta específica, utilize o prefixo do campo object nos logs de acesso do OSS para identificar os arquivos. Em seguida, some os valores do campo delta_data_size para obter a alteração total de tamanho de todos os arquivos nessa pasta.

Instrução de consulta

Calcule as alterações de tamanho de arquivo na pasta exampledir do bucket examplebucket.

* and __topic__ : oss_access_log and bucket: examplebucket | select
  SUM(delta_data_size) AS total_delta_data_size
WHERE
  url_decode(object) LIKE 'exampledir/%'

Resultados da consulta

O tamanho dos arquivos na pasta exampledir do bucket examplebucket aumentou em 941 bytes.

Analisar solicitações de Internet do OSS não aceleradas pelo CDN

Após ativar a aceleração CDN, um número significativo de solicitações de Internet do OSS ainda pode ocorrer. Isso indica que os URLs de recursos na sua aplicação ainda apontam para a origem do OSS em vez do nome de domínio acelerado pelo CDN. Para identificar essas solicitações não aceleradas, analise os logs de acesso do OSS. Use o campo host para filtrar endpoints públicos do OSS e o campo sync_request para excluir solicitações de origem CDN. Também é possível usar o campo referer para determinar a página web ou aplicação de origem dessas solicitações.

Instrução de consulta

Analise as solicitações de Internet do OSS para o bucket examplebucket que não são aceleradas pelo CDN.

* and __topic__: oss_access_log and bucket: examplebucket and host : "examplebucket.oss-cn-hangzhou.aliyuncs.com" not sync_request: cdn | select
  referer,
  host,
  count(*) as request_count
group by
  referer,
  host
order by request_count desc

Resultados da consulta

null

Os resultados das solicitações de Internet do OSS não aceleradas para o bucket examplebucket mostram as três principais fontes de tráfego. As fontes incluem solicitações com o campo Referer vazio, que podem ocorrer quando os usuários inserem o URL diretamente no navegador, e solicitações de sites com nomes de domínio que terminam em .com e .vip.

Consultar registros de exclusão em lote de arquivos

Consulte os registros de exclusão de arquivos em lote no OSS por meio de consultas de log em tempo real. As informações sobre os arquivos excluídos estão armazenadas no corpo da solicitação HTTP. Use o Request ID para consultar os registros associados.

Método 1: Request ID conhecido

Para executar a consulta, substitua bucketname e request_id na seguinte instrução SQL:

* and __topic__: oss_batch_delete_log and operation : DeleteObjects and bucket: bucketname | select from_unixtime( __time__) as Time,url_decode(object) as objectname,user_agent where request_id = '68xxxxxxxxxxxxxxxxxxxxxx'

Após executar a consulta, a tabela de resultados retorna os registros de exclusão correspondentes. Se a coluna user_agent exibir aliyun-oss-console, isso indica que a operação de exclusão foi iniciada pelo console do OSS. Use essas informações para identificar os objetos excluídos e a origem da operação.

Método 2: Request ID desconhecido

Se você não possui o Request ID, siga estas etapas para consultar:

Localize o Request ID usando informações como o nome do arquivo ou o horário da exclusão em lote. Por exemplo, para executar a consulta, substitua bucketname e o nome do arquivo na seguinte instrução SQL:
```
* and __topic__: oss_batch_delete_log and bucket: bucketname | select request_id where url_decode(object) = 'test/001.bin'
```
A consulta retorna a coluna request_id. Um exemplo de valor é 68666811B2D29830309BC41E.
Após obter o Request ID, use a instrução SQL do Método 1 para consultar os registros completos de exclusão em lote.