Simple Log Service:Primeros pasos

Contexto

Un sitio web almacena todos sus registros de acceso en un LogStore llamado website_log. Para mejorar la experiencia del usuario, es necesario analizar los errores de acceso. El objetivo consiste en filtrar los registros de acceso con código de estado 4XX, eliminar la información personal de los usuarios y escribir los resultados en un nuevo LogStore llamado website_fail para los analistas de negocio. A continuación se muestra un registro de ejemplo:

body_bytes_sent: 1061
http_user_agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/533.18.1 (KHTML, like Gecko) Version/5.0.2 Safari/533.18.5
remote_addr: 192.0.2.2
remote_user: vd_yw
request_method: GET
request_uri: /request/path-1/file-5
status: 400
time_local: 10/Jun/2021:19:10:59
error: Invalid time range

Requisitos previos

• (Obligatorio) Se creó un proyecto llamado web-project. Para obtener más información, consulte Manage projects.

• (Obligatorio) Se creó un LogStore de origen llamado website_log en el proyecto web-project. Para obtener más información, consulte Manage LogStores.

• (Obligatorio) Los registros de acceso al sitio web se recopilaron en el LogStore de origen (website_log). Para obtener más información, consulte Data collection overview.

• (Obligatorio) Se creó un LogStore de destino llamado website_fail en el proyecto web-project.

• (Condicional) Si utiliza un usuario de Resource Access Management (RAM), primero debe otorgarle los permisos necesarios para la transformación de datos. Para obtener más información, consulte Authorize a RAM user to perform data transformation operations.

• (Opcional) Se configuraron índices tanto para el LogStore de origen como para el de destino. Para obtener más información, consulte Create an index.

  Nota

  Los índices no son obligatorios para los trabajos de transformación de datos. Sin embargo, si no se configuran, no podrá realizar operaciones de consulta y análisis.

Paso 1: Crear un trabajo de transformación de datos

1. Inicie sesión en la consola de Simple Log Service.

2. Vaya a la página de transformación de datos.

   1. En la sección Projects, haga clic en el proyecto deseado.

   2. En la pestaña Log Storage > Logstores, haga clic en el logstore deseado.

   3. En la página de consulta y análisis, haga clic en Data Transformation.

3. En la esquina superior derecha de la página, seleccione un intervalo de tiempo.

   Después de seleccionar el intervalo de tiempo, compruebe que aparezcan registros en la pestaña Raw Logs.

4. En el editor, introduzca la siguiente regla SPL de transformación.

   *
   | extend status=cast(status as BIGINT)
   | where status>=400 AND status<500
   | project-away remote_addr, remote_user

   La regla aplica tres operadores en secuencia:

   • extend status=cast(status as BIGINT) convierte el campo status al tipo BIGINT.

   • where status>=400 AND status<500 conserva únicamente los registros de acceso cuyo código de estado es 4XX.

   • project-away remote_addr, remote_user elimina los campos remote_addr y remote_user, que contienen la información personal del usuario.

5. Depure la regla SPL.

   1. En la pestaña Raw Data, seleccione datos de prueba o introdúzcalos manualmente.

      [
      {
          "body_bytes_sent": "1061",
          "http_user_agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/533.18.1 (KHTML, like Gecko) Version/5.0.2 Safari/533.18.5",
          "remote_addr": "192.0.2.2",
          "remote_user": "vd_yw",
          "request_method": "GET",
          "request_uri": "/request/path-1/file-5",
          "status": "400",
          "time_local": "10/Jun/2021:19:10:59",
          "error": "Invalid time range"
      }
      ]

   2. Haga clic en el icono de ejecución (▷) para iniciar la depuración.

   3. Consulte los resultados de la vista previa. Una vez finalizada la ejecución, cambie a la pestaña Transformation Results para ver los resultados. El registro transformado se estructura en varios campos, como body_bytes_sent, error, http_user_agent, request_method, request_uri, status y time_local. Compruebe que remote_addr y remote_user ya no estén presentes y que solo permanezcan los registros de acceso con código de estado 4XX.

6. Cree un trabajo de transformación de datos.

   1. Haga clic en Save as Transformation Job (New Version).

   2. En el panel Create Data Transformation Job (New Version), configure los siguientes parámetros y haga clic en OK.

   Parámetro	Descripción
   Task Name	Nombre del trabajo de transformación de datos.
   Display Name	Nombre para mostrar del trabajo.
   Job Description	Descripción del trabajo.
   Authorization Method	Otorgue al trabajo acceso de lectura al logstore de origen mediante uno de estos métodos: Default Role: El trabajo asume el rol de sistema AliyunLogETLRole para leer datos del logstore de origen. Haga clic en Authorize the system role AliyunLogETLRole y complete la autorización según las indicaciones. Para obtener más información, consulte Access data using a default role. Importante Si utiliza un usuario de RAM, una cuenta de Alibaba Cloud debe completar primero la autorización. Si su cuenta de Alibaba Cloud ya está autorizada, puede omitir este paso. Custom Role: El trabajo asume un rol personalizado para leer datos del logstore de origen. Primero debe otorgar al rol personalizado permisos para leer datos del logstore de origen y luego introducir el ARN del rol en el campo Role ARN. Para obtener más información, consulte Access data using a custom role. AccessKey: Por motivos de seguridad, ya no es posible utilizar un par de AccessKey (AK/SK) para crear trabajos.
   Storage Destination
   Destination Name	Nombre del destino de almacenamiento. Incluye configuraciones como Project y logstore.
   Destination Region	Región donde se encuentra el Project de destino.
   Destination Project	Project de destino para los resultados de la transformación. Un Project especificado en su instrucción SPL anula esta configuración. Dynamic destination Project/logstore output. Importante El Project que especifique dinámicamente en la instrucción SPL debe coincidir con la región y la autorización que configure aquí.
   Target Store	Logstore de destino para los resultados de la transformación. Un logstore especificado en su instrucción SPL anula esta configuración. Dynamic destination Project/logstore output. Importante El logstore que especifique dinámicamente en la instrucción SPL debe coincidir con la región, la autorización y el Project que configure aquí. El logstore de destino no puede ser el mismo que el logstore de origen. Aviso No configure el almacén de destino como el almacén de origen actual (configuración de mismo origen). De lo contrario, los registros podrían escribirse en bucle, lo que genera costos adicionales de almacenamiento y tráfico. Usted es responsable del consumo de recursos y de los costos incurridos.
   Authorization Method	Otorgue al trabajo acceso de escritura al logstore de destino mediante uno de estos métodos: Default Role: El trabajo asume el rol de sistema AliyunLogETLRole para escribir resultados en el logstore de destino. Haga clic en Authorize the system role AliyunLogETLRole y complete la autorización según las indicaciones. Para obtener más información, consulte Access data using a default role. Importante Si utiliza un usuario de RAM, una cuenta de Alibaba Cloud debe completar primero la autorización. Si su cuenta de Alibaba Cloud ya está autorizada, puede omitir este paso. Custom Role: El trabajo asume un rol personalizado para escribir resultados en el logstore de destino. Primero debe otorgar al rol personalizado permisos para escribir datos en el logstore de destino y luego introducir el ARN del rol en el campo Role ARN. Para obtener más información, consulte Access data using a custom role. AccessKey: Por motivos de seguridad, ya no es posible utilizar un par de AccessKey (AK/SK) para crear trabajos.
   Write to Result Set	Conjunto de datos para escribir en el logstore de destino. Varios conjuntos de datos pueden dirigirse a un mismo destino, y varios destinos pueden compartir un conjunto de datos. Dataset description.
   Processing scope
   Time Range (Data Receiving Time)	Intervalo de tiempo del trabajo: All: Procesa todos los datos desde el primer registro hasta que se detenga manualmente. From Specific Time: Procesa datos desde la hora de inicio especificada hasta que se detenga manualmente. Specific Time Range: Procesa datos dentro del intervalo de tiempo especificado y se detiene automáticamente al llegar a la hora de finalización.
   Advanced Options
   Advanced Parameter Settings	Almacene información confidencial (como contraseñas de bases de datos) como pares clave-valor y refiriéralos en su instrucción mediante res_local("key"). Haga clic en + para agregar varios pares clave-valor. Por ejemplo, config.vpc.vpc_id.test1:vpc-uf6mskb0b****n9yj especifica el ID de la VPC donde reside la instancia de RDS.

Paso 2: Supervisar el trabajo de transformación de datos

1. En el panel de navegación izquierdo, seleccione Job Management > Data Transformation.

2. En la lista de trabajos de transformación de datos, busque y haga clic en el trabajo que desea gestionar.

3. En la página Data Transformation Overview (New Version), consulte los detalles y el estado del trabajo. También puede observar el estado de ejecución y las métricas del trabajo. Para obtener más información, consulte Observe and monitor data transformation jobs (new version). Para modificar, iniciar, detener o eliminar el trabajo, consulte Manage data transformation jobs (new version).

4. Confirme que los resultados de la transformación se escribieron en el LogStore de destino. Vaya al LogStore de destino (website_fail) para realizar operaciones de consulta y análisis. Para obtener más información, consulte Quick guide to query and analysis.