Simple Log Service crea un panel para cada tarea de transformación de datos de forma predeterminada. Este panel le permite consultar las métricas de ejecución de cada tarea.
Consulte el panel
Después de crear una tarea de transformación de datos, consulte su panel en la página data transformation overview.
Inicie sesión en la consola de Simple Log Service.
En la sección Projects, haga clic en el proyecto deseado.
En el panel de navegación izquierdo, seleccione .
Haga clic en la tarea de transformación de datos que desea gestionar. En la sección
Execution Status
, consulte la información del panel.
Los paneles aparecen en la sección Execution Status. El panel incluye secciones para métricas generales, tasa de procesamiento, latencia y tasa de consumo de shards, shards activos y detalles de errores.
Métricas generales
Las métricas generales registran los recuentos acumulados de todos los shards del LogStore de origen desde que inició la tarea de transformación de datos. Estos totales le ayudan a evaluar el progreso general y el éxito en la entrega de una tarea.
Total logs read: Número total de registros leídos de todos los shards del LogStore de origen.
Total logs delivered: Número total de registros leídos de todos los shards del LogStore de origen y escritos correctamente en el LogStore de destino.
Total failed logs: Número total de registros leídos de todos los shards del LogStore de origen que fallaron durante la transformación de datos.
Delivery success rate: Porcentaje de registros entregados correctamente al LogStore de destino respecto al total de registros leídos del LogStore de origen.
Tasa de procesamiento
La tasa de procesamiento muestra la cantidad de registros que procesa la transformación de datos en cada ventana de un minuto. A diferencia de las métricas generales, que muestran totales acumulados, estas métricas desglosan los resultados de los registros por minuto. Esto le permite identificar cambios en el throughput y problemas transitorios a lo largo del tiempo.
accept: Cantidad de registros leídos de todos los shards del LogStore de origen.
dropped: Cantidad de registros leídos de todos los shards del LogStore de origen y descartados según lo esperado por el script de reglas.
delivered: Cantidad de registros leídos de todos los shards del LogStore de origen y escritos correctamente en el LogStore de destino.
failed: Cantidad de registros leídos de todos los shards del LogStore de origen que fallaron durante la transformación de datos.
Latencia y tasa de consumo de shards
Estas métricas se recopilan por shard en cada ventana de un minuto cuando la tarea de transformación de datos lee información del LogStore de origen.
consumption latency: Diferencia entre el momento en que se consumen todos los registros del shard y el momento en que se genera el registro más reciente del mismo. Ambos tiempos se calculan a partir de la llegada de los datos del shard al servidor (server receive time).
consumption rate: Promedio de registros leídos del shard por segundo dentro de una ventana de un minuto.
Al procesar registros en tiempo real, la latencia de consumo es de aproximadamente 1 segundo. Cuando se procesan datos históricos, la latencia puede ser alta al inicio de la tarea. Conforme avanza la transformación de datos, el progreso de consumo se nivela y la latencia disminuye a un nivel bajo.
Shards activos
La sección Active shards muestra la cantidad de entradas de registro que procesa cada shard por segundo, clasificadas como accept, dropped, delivered o failed. El panel Active shards presenta estas métricas de throughput en una tabla con las siguientes columnas:
project: Proyecto al que pertenece el shard.
LogStore: LogStore al que pertenece el shard.
shard: ID del shard.
accept lines/s: Cantidad de registros aceptados por segundo.
dropped lines/s: Cantidad de registros descartados por segundo.
delivered lines/s: Cantidad de registros entregados por segundo.
failed lines/s: Cantidad de registros fallidos por segundo.
Detalles de errores
Utilice el campo reason para identificar el script de reglas que podría causar el error.
La página Error details muestra los registros de errores de la tarea de transformación de datos ETL en una tabla. La tabla contiene las siguientes columnas: time, level, event, logging, etl_context y reason.
A continuación se muestran ejemplos de registros de errores comunes:
El evento
transform_data:init:failcon la razónETL config doesn't pass security check, detail: invalid type detected: <class "_ast.Import">.El evento
transform_data:process:batch_failedcon la razónInternalServerError/sync send error. Haga clic en el enlace Expand de un campo para ver su contenido completo.
También puede consultar los registros de errores completos en el LogStore internal-etl-log del proyecto actual mediante la búsqueda de la palabra clave ERROR o WARNING.