Simple Log Service:Convertir campos de registro en métricas

Contexto

Escenario

Existe un Logstore llamado nginx-demo en la región China (Hangzhou) que almacena registros de acceso de NGINX.

Para monitorear las tendencias de request_time (duración de la solicitud) y upstream_response_time (tiempo de respuesta del upstream) por servidor backend, convierta estos campos del Logstore en métricas con una etiqueta basada en el campo host.

body_bytes_sent:1750
host:www.example.com
http_referer:www.guide.example.com
http_user_agent:Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_6; it-it) AppleWebKit/533.20.25 (KHTML, like Gecko) Version/5.0.4 Safari/533.20.27
http_x_forwarded_for:203.0.113.10
remote_addr:203.0.113.10
remote_user:p288
request_length:13741
request_method:GET
request_time:71
request_uri:/request/path-1/file-1
status:200
time_local:11/Aug/2021:06:52:27
upstream_response_time:0.66

Requisitos previos

Se han recopilado los datos de registro. Data collection.

Paso 1: Crear un MetricStore

Cree un MetricStore llamado service-metric para almacenar las métricas transformadas.

1. Inicie sesión en la consola de Simple Log Service.

2. En la sección Projects, haga clic en el proyecto deseado.

   

3. En la pestaña Metric Storage > Metricstores, haga clic en el icono +.

4. En el panel Create Metricstore, configure los siguientes parámetros y haga clic en OK.

   Parámetro	Descripción
   Metricstore Name	Nombre del metricstore. Debe ser único dentro del proyecto. No se puede modificar después de la creación.
   Data Retention Period	Durante cuánto tiempo se conservan las métricas en el metricstore. Specified Days: Conserva las métricas de 1 a 3000 días. Aviso Las métricas Expired se eliminan automáticamente. Si reduce el periodo de retención, SLS elimina las métricas Expired en un plazo de 1 hora. La sección Usage Details en la página principal de la consola de SLS se actualiza al día siguiente. Por ejemplo, si cambia el periodo de retención de 5 a 1 día, se eliminarán las métricas de los cuatro días anteriores en menos de 1 hora. Permanent Storage: Conserva las métricas indefinidamente. Nota Un periodo de retención de 3650 devuelto por el SDK indica almacenamiento permanente.
   Shards	Número de shards. Cada shard admite 5 MB/s y 500 escrituras/s para escritura, y 10 MB/s y 100 lecturas/s para lectura. Máximo: 10 shards por metricstore, 200 por proyecto. Para obtener más información, consulte Shard.
   Automatic Sharding	Si activa Automatic Sharding, SLS aumenta los shards cuando la capacidad de escritura es insuficiente. Para obtener más información, consulte Manage shards.
   Maximum Shards	Obligatorio cuando Automatic Sharding está habilitado. Número máximo de shards de lectura/escritura. Valor máximo: 256.

Paso 2: Crear un trabajo de transformación de datos

Utilice la función e_to_metric para crear un trabajo de transformación de datos que envíe los resultados al MetricStore creado en el Paso 1.

1. Go to the Data Transformation page.

2. En la esquina superior derecha, seleccione un intervalo de tiempo para que los registros objetivo aparezcan en la pestaña Raw Logs.

3. Introduzca la siguiente instrucción de transformación de datos para convertir request_time y upstream_response_time en métricas, y cambie el nombre de host a hostname como etiqueta.

   e_to_metric(
       names=[("request_time", "RequestTime"), ("upstream_response_time", "ResponseTime")],
       labels=[("host", "hostname")],
   )

4. Haga clic en Preview Data y revise la pestaña Transformation Results.

   Esta pestaña muestra dos puntos de datos de métricas: __name__=RequestTime con __value__=71.0, y __name__=ResponseTime con __value__=0.66. Ambos tienen __labels__=hostname#$#www.example.com y __time_nano__=1716172083000000000.

5. Cree el trabajo de transformación de datos.

   1. Haga clic en Save as Transformation Job.

   2. En el panel Create Data Transformation Job, configure los siguientes parámetros y haga clic en OK. Para obtener detalles sobre los parámetros, consulte Create a data transformation job.

      Parámetro	Descripción
      Job name, Display name	El nombre del trabajo debe ser único. El nombre para mostrar lo define el usuario, por ejemplo, log2metric.
      Authorization method	Seleccione Default Role para otorgar permisos de lectura en el Logstore de origen.
      Destination
      Destination name	Nombre del destino, por ejemplo, log2metric.
      Destination region	Región del Project de destino, por ejemplo, China (Hangzhou).
      Destination Project	Project de destino que almacena los resultados de la transformación.
      Destination store	MetricStore de destino, por ejemplo, service-metric.
      Authorization method	Seleccione Default Role para otorgar permisos de escritura en el MetricStore de destino service-metric.
      Processing scope
      Time range	Seleccione All.

6. Compruebe el estado del trabajo de transformación de datos.

   En el panel de navegación izquierdo, haga clic en el icono Logstore, expanda el Logstore objetivo, seleccione Data Processing > Data Transformation y haga clic en el trabajo correspondiente para ver su progreso.

Paso 3: Consultar datos de series temporales

1. En el panel de navegación izquierdo, seleccione Metric Storage > Metricstores y elija el MetricStore objetivo.

2. En la esquina superior derecha, haga clic en Last 15 Minutes (Relative) para establecer el intervalo de tiempo de la consulta.

   Nota

   Los resultados de la consulta y el análisis pueden tener una latencia de hasta un minuto.

3. Haga clic en Preview Raw Data. En el panel que aparece, seleccione un intervalo de tiempo para comprobar que se han escrito las métricas.

   La vista previa muestra dos métricas de service-metric: __name__:RequestTime __value__:71.0 y __name__:ResponseTime __value__:0.66.

4. Introduzca una instrucción de consulta mediante uno de los siguientes métodos. Para obtener pasos detallados, consulte Query and analyze time-series data.

   • Introduzca una instrucción PromQL y haga clic en Execute Now.

     Puede agregar varias consultas. Los resultados se superponen en el mismo gráfico de series temporales.

   • En el panel Metrics Explore, haga clic en el icono junto a una métrica para generar automáticamente una instrucción de consulta.

     También puede hacer clic en Continue to Explore para una métrica en el panel Metrics Explore a fin de establecer valores de etiqueta y generar una consulta automáticamente. Metric exploration.

   • Tendencia de RequestTime para cada host

   • Tendencia de ResponseTime para cada host