Simple Log Service:Consolidar datos de registro de varios LogStores

Contexto

Un sitio web de noticias con servicios distribuidos globalmente almacena los registros de acceso de usuarios de diferentes canales de noticias en LogStores repartidos en varias cuentas de Alibaba Cloud. Para consolidar estos datos de registro en un solo LogStore y permitir su consulta y análisis centralizados, puede usar la función e_output dentro de un trabajo de transformación de datos.

El siguiente ejemplo consolida registros de distintos LogStores en la misma región, UK (London):

• La cuenta 1 almacena sus registros sin procesar en LogStore_1, ubicado en Project_1 dentro de la región UK (London).

  "Log 1"
  request_id: 1
  http_host:  example.com
  http_status:  200
  request_method:  GET
  request_uri:  /pic/icon.jpg
  "Log 2"
  request_id: 2
  http_host:  aliyundoc.com
  http_status:  301
  request_method:  POST
  request_uri:  /data/data.php

• La cuenta 2 almacena sus registros en LogStore_2, ubicado en Project_2 dentro de la región UK (London).

  "Log 1"
  request_id: 3
  host:  example.edu
  status:  404
  request_method:  GET
  request_uri:  /category/abc/product_id
  "Log 2"
  request_id: 4
  host:  example.net
  status:  200
  request_method:  GET
  request_uri:  /data/index.html

• Requisitos de transformación

  • Exportar los eventos de registro cuyo http_status sea 200 desde LogStore_1 de la cuenta 1 hacia LogStore_3 de la cuenta 3.

  • Para los eventos de registro de LogStore_2 en la cuenta 2 donde el status es 200, cambiar el nombre de host a http_host y de status a http_status para que coincidan con los nombres de campo de LogStore_1. Posteriormente, exportar los registros transformados a LogStore_3 en la cuenta 3.

Paso 1: Configurar la transformación para LogStore_1

1. Vaya a la página de transformación de datos correspondiente a LogStore_1 en la cuenta 1. Para consultar los pasos detallados, vea Create a data transformation job.

2. En la página de transformación de datos, configure la siguiente regla para exportar los eventos de registro con un http_status de 200 desde LogStore_1 en la cuenta 1 hacia LogStore_3 en la cuenta 3.

   e_if(e_match("http_status", "200"), e_output("target_logstore"))

3. Cree un trabajo de transformación de datos y configure parámetros como Storage Destination, Destination Name, Destination Region, Destination Project y Destination Logstore en la sección Storage Destination. Para obtener una descripción del parámetro de método de autorización, consulte Create a data transformation job.

   Establezca Destination Name como target_logstore. En Destination Region, seleccione UK (London). En Destination Project, introduzca Project_3. En Target Store, introduzca LogStore_3. En Authorization Method, seleccione AccessKey, introduzca el AccessKey ID y el AccessKey Secret, y luego haga clic en Add.

Paso 2: Configurar la transformación para LogStore_2

1. Vaya a la página de transformación de datos correspondiente a LogStore_2 en la cuenta 2. Para consultar los pasos detallados, vea Create a data transformation job.

2. En la página de transformación de datos, configure la siguiente regla. Esta regla procesa los registros de LogStore_2 cuyo status es 200. Cambia el nombre de host a http_host y de status a http_status para igualar los nombres de campo de LogStore_1, y después exporta los registros transformados a LogStore_3 en la cuenta 3.

   e_if(e_match("status", "200"), e_compose(e_rename("status", "http_status", "host", "http_host"), e_output("target_logstore")))

   En los resultados de la vista previa, los campos se han renombrado correctamente: host pasa a llamarse http_host y status pasa a llamarse http_status.

3. Cree un trabajo de transformación de datos. En el área Storage Destination, configure parámetros como Destination Name, Destination Region, Destination Project y Destination Logstore. Para obtener una descripción del parámetro Authorization Method, consulte Create a data transformation job.

   En Destination Name, introduzca target_logstore. En Destination Region, seleccione UK (London). En Destination Project, introduzca Project_3. En Target Store, introduzca LogStore_3. En Authorization Method, seleccione AccessKey, introduzca el AccessKey ID y el AccessKey Secret, y luego haga clic en Add.

Consultar los resultados de la agregación

Después de la transformación, query and analyze los registros consolidados en LogStore_3 dentro de la región UK (London). Ejemplo de salida:

"Log 1"
request_id: 1
http_host:  example.com
http_status:  200
request_method:  GET
request_uri:  /pic/icon.jpg
"Log 2"
request_id: 4
http_host:  example.net
http_status:  200
request_method:  GET
request_uri:  /data/index.html