Simple Log Service:Consolidar dados de log de vários LogStores

Contexto

Um site de notícias com serviços distribuídos globalmente armazena logs de acesso de usuários de diferentes canais em LogStores espalhados por várias contas da Alibaba Cloud. Para consolidar esses dados em um único LogStore e permitir consultas e análises centralizadas, use a função e_output em um trabalho de transformação de dados.

Este tópico apresenta um exemplo de consolidação de logs de diferentes LogStores localizados na mesma região, UK (London). A seção a seguir descreve os logs:

• A Conta 1 armazena seus logs brutos no LogStore_1, localizado no Project_1 na região UK (London).

  "Log 1"
  request_id: 1
  http_host:  example.com
  http_status:  200
  request_method:  GET
  request_uri:  /pic/icon.jpg
  "Log 2"
  request_id: 2
  http_host:  aliyundoc.com
  http_status:  301
  request_method:  POST
  request_uri:  /data/data.php

• A Conta 2 armazena seus logs no LogStore_2, localizado no Project_2 na região UK (London).

  "Log 1"
  request_id: 3
  host:  example.edu
  status:  404
  request_method:  GET
  request_uri:  /category/abc/product_id
  "Log 2"
  request_id: 4
  host:  example.net
  status:  200
  request_method:  GET
  request_uri:  /data/index.html

• Requisitos de transformação

  • Exporte eventos de log com http_status igual a 200 do LogStore_1 na conta 1 para o LogStore_3 na conta 3.

  • Nos eventos de log do LogStore_2 na conta 2 onde o status for 200, renomeie host para http_host e status para http_status para corresponder aos nomes de campo do LogStore_1. Em seguida, exporte os logs transformados para o LogStore_3 na conta 3.

Etapa 1: Configure a transformação para o LogStore_1

1. Acesse a página de transformação de dados do LogStore_1 na conta 1. Para obter etapas detalhadas, consulte Crie um trabalho de transformação de dados.

2. Na página de transformação de dados, configure a seguinte regra para exportar eventos de log com http_status igual a 200 do LogStore_1 na conta 1 para o LogStore_3 na conta 3.

   e_if(e_match("http_status", "200"), e_output("target_logstore"))

3. Crie um trabalho de transformação de dados e configure parâmetros como Storage Destination, Destination Name, Destination Region, Destination Project e Destination Logstore na seção Storage Destination. Para obter uma descrição do parâmetro de método de autorização, consulte Crie um trabalho de transformação de dados.

   Defina Destination Name como target_logstore. Em Destination Region, selecione UK (London). Em Destination Project, insira Project_3. Em Target Store, insira LogStore_3. Em Authorization Method, selecione AccessKey, insira o AccessKey ID e o AccessKey Secret e clique em Add.

Etapa 2: Configure a transformação para o LogStore_2

1. Acesse a página de transformação de dados do LogStore_2 na conta 2. Para obter etapas detalhadas, consulte Crie um trabalho de transformação de dados.

2. Na página de transformação de dados, configure a seguinte regra. Ela processa logs do LogStore_2 onde o status é 200, renomeia host para http_host e status para http_status para corresponder aos nomes de campo do LogStore_1 e exporta os logs transformados para o LogStore_3 na conta 3.

   e_if(e_match("status", "200"), e_compose(e_rename("status", "http_status", "host", "http_host"), e_output("target_logstore")))

   Nos resultados da visualização, os campos foram renomeados conforme esperado: host foi renomeado para http_host e status para http_status.

3. Crie um trabalho de transformação de dados. Na área Storage Destination, configure parâmetros como Destination Name, Destination Region, Destination Project e Destination Logstore. Para obter uma descrição do parâmetro Authorization Method, consulte Crie um trabalho de transformação de dados.

   Em Destination Name, insira target_logstore. Em Destination Region, selecione UK (London). Em Destination Project, insira Project_3. Em Target Store, insira LogStore_3. Em Authorization Method, selecione AccessKey, insira o AccessKey ID e o AccessKey Secret e clique em Add.

Visualize resultados da agregação

No LogStore_3 na região UK (London), consulte e analise os logs. Veja a seguir exemplos de logs.

"Log 1"
request_id: 1
http_host:  example.com
http_status:  200
request_method:  GET
request_uri:  /pic/icon.jpg
"Log 2"
request_id: 4
http_host:  example.net
http_status:  200
request_method:  GET
request_uri:  /data/index.html