La función de registros de servicio de Simple Log Service (SLS) registra información detallada, importante y sobre la ejecución de tareas. Este tema describe los campos de registro para cada tipo de registro.
Tipos de registros
Al habilitar la función de registros de servicio, puede seleccionar los tipos de registros de servicio que desea generar. La siguiente tabla enumera los tipos de registros disponibles.
Para garantizar la compatibilidad de sus instrucciones de consulta personalizadas, especifique el tipo de registro mediante __topic__: XXX.
|
Tipo |
Descripción general |
Nombre del logstore |
Detalles |
Descripción |
|
Registros detallados |
Registra las operaciones realizadas en todos los recursos del proyecto, incluidas las operaciones de creación, modificación, actualización, eliminación, lectura y escritura. Nota
El acceso mediante el protocolo JDBC no se registra. |
internal-operation_log |
Registros detallados de operaciones para todas las solicitudes y operaciones de API, incluidas las solicitudes provenientes de clientes como la consola, grupos de consumidores y SDK. |
|
|
Registros importantes |
Incluye registros de retraso de grupos de consumidores a nivel de logstore, así como registros de errores, latidos y estadísticas de Logtail. |
internal-diagnostic_log |
Los registros de retraso de grupos de consumidores se generan cada 2 minutos. Para consultar estos registros, especifique |
|
|
Registra los errores de Logtail. Se genera un registro cada 30 segundos. Si ocurre el mismo tipo de error varias veces durante este periodo, el sistema registra únicamente el número total de ocurrencias y un mensaje de error aleatorio. Para consultar los registros de alerta de Logtail, especifique |
||||
|
Registra estadísticas de recolección de Logtail. Se genera un registro cada 10 minutos. Para consultar los registros de recolección de Logtail, especifique |
||||
|
Registra el estado periódico de Logtail. Se genera un registro cada minuto. Para consultar los registros de estado de Logtail, especifique |
||||
|
Registros operativos |
Registra las métricas y los registros operativos de las tareas de transformación de datos, Scheduled SQL, importación de datos y envío de datos en un proyecto. |
internal-diagnostic_log |
Se genera un registro para cada instancia de Scheduled SQL una vez que finaliza su ejecución. Para consultar los registros operativos de Scheduled SQL, especifique |
|
|
Operational logs for data transformation, data import, and data shipping jobs |
Los registros se generan cada minuto, pero solo si el origen de datos de la tarea contiene datos. Para consultar estos registros operativos, especifique |
Registros detallados
Según el campo Method, los registros detallados se dividen en tres categorías: operaciones de lectura, operaciones de escritura y operaciones de recursos.
|
Categoría |
Método de solicitud |
|
Operación de lectura |
Los registros de operaciones de lectura se generan al llamar a las siguientes operaciones de API:
|
|
Operación de escritura |
Los registros de operaciones de escritura se generan al llamar a las siguientes operaciones de API:
|
|
Operación de recursos |
Todas las demás operaciones de API generan registros de operaciones de recursos. Por ejemplo, |
Campos comunes en registros detallados
|
Parámetro |
Descripción |
Ejemplo |
|
APIVersion |
La versión de la API. |
0.6.0 |
|
AccessKeyId |
La clave de acceso utilizada para acceder a Log Service. |
LTA****TRx |
|
CallerType |
El tipo de llamador de la API. |
Subuser |
|
InvokerUid |
El ID de cuenta de Alibaba Cloud del usuario que realizó la operación. |
175****532 |
|
Latency |
La latencia de la solicitud. Unidad: microsegundos. |
123279 |
|
LogStore |
El nombre del LogStore destino de la operación. |
LogStore-1 |
|
Method |
El método de solicitud que generó el registro. |
GetLogStoreLogs |
|
NetOutFlow |
El volumen de tráfico de lectura. Unidad: bytes. |
120 |
|
NetworkOut |
El volumen de tráfico de lectura a través de Internet. Unidad: bytes. |
10 |
|
Project |
El nombre del Project destino de la operación. |
project-1 |
|
RequestId |
El ID de la solicitud. |
8AEADC8B0AF2FA2592C9**** |
|
SourceIP |
La dirección IP de origen del cliente. |
47.100.. |
|
Status |
El código de estado devuelto en la respuesta. |
200 |
|
UserAgent |
El agente de usuario del cliente. |
sls-java-sdk-v-0.6.1 |
Campos específicos de registros de operaciones de lectura
|
Parámetro |
Descripción |
Ejemplo |
|
BeginTime |
La hora de inicio de la solicitud, representada como una marca de tiempo UNIX. |
1523868463 |
|
DataStatus |
El estado de los datos de la respuesta. Los valores válidos incluyen |
OK |
|
EndTime |
La hora de finalización de la solicitud, representada como una marca de tiempo UNIX. |
1523869363 |
|
Offset |
El desplazamiento de líneas en una solicitud |
20 |
|
Query |
La instrucción de consulta original. |
UserAgent: [consumer-group-java]* |
|
RequestLines |
El número de líneas solicitadas. |
100 |
|
ResponseLines |
El número de líneas devueltas. |
100 |
|
Reverse |
El orden en que se devuelven los registros según sus marcas de tiempo.
|
0 |
|
TermUnit |
El número de palabras en la instrucción de consulta después de la tokenización. |
0 |
|
Topic |
El tema del registro. |
topic-1 |
Campos específicos de registros de operaciones de escritura
|
Parámetro |
Descripción |
Ejemplo |
|
InFlow |
El tamaño de los datos sin procesar escritos. Unidad: bytes. |
200 |
|
InputLines |
El número de líneas escritas en la solicitud. |
10 |
|
NetInflow |
El tamaño de los datos escritos después de la compresión. Unidad: bytes. |
100 |
|
Shard |
El ID del shard donde se escriben los datos. |
1 |
|
Topic |
El tema del registro. |
topic-1 |
Registros de retraso de grupos de consumidores
|
Parámetro |
Descripción |
Ejemplo |
|
consumer_group |
El nombre del grupo de consumidores. |
consumer-group-1 |
|
fallbehind |
El retraso en segundos entre la posición actual del consumidor y el final del registro. |
12345 |
|
Logstore |
El nombre del logstore. |
LogStore-1 |
|
Project |
El nombre del Project. |
project-1 |
|
shard |
El ID del shard que se está consumiendo. |
1 |
Registros de alerta de Logtail
|
Parámetro |
Descripción |
Ejemplo |
|
alarm_count |
El número de alertas dentro de la ventana de tiempo. |
10 |
|
alarm_message |
Una muestra del registro sin procesar que activó la alerta. |
M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b |
|
alarm_type |
El tipo de alerta. |
REGISTER_INOTIFY_FAIL_ALARM |
|
Logstore |
El nombre del logstore. |
Logstore-1 |
|
os |
El sistema operativo, como Linux o Windows. |
Linux |
|
Project |
El nombre del Project. |
Project-1 |
|
source_ip |
La dirección IP del servidor donde está instalado Logtail. |
47.100.. |
|
version |
La versión de Logtail. |
0.14.2 |
Registros de recolección de Logtail
Los registros de recolección de Logtail se clasifican en dos tipos según el campo file_name.
Estadísticas de recolección para un solo archivo de registro.
Estadísticas de recolección para un logstore, donde el campo file_name está establecido en
logstore_statistics.
Esta tabla describe los campos en los registros de recolección de Logtail.
|
Parámetro |
Descripción |
Ejemplo |
|
Logstore |
El nombre del logstore. |
Logstore-1 |
|
config_name |
El nombre de la configuración de Logtail. El nombre es único a nivel global y tiene el formato |
##1.0##project-1$LogStore-1 |
|
error_line |
La entrada de registro sin procesar que causó el error. |
M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b |
|
file_dev |
El ID de dispositivo del archivo de registro. Nota
Este campo no aplica si el campo |
123 |
|
file_inode |
El inode del archivo de registro. Nota
Este campo no aplica si el campo |
124 |
|
file_name |
La ruta completa del archivo de registro o el valor |
/abc/file_1 |
|
file_size |
El tamaño del archivo de registro, en bytes. |
12345 |
|
history_data_failures |
El número acumulado de fallos en el procesamiento de datos. |
0 |
|
last_read_time |
La marca de tiempo UNIX de la última operación de lectura dentro de la ventana de tiempo. |
1525346677 |
|
Project |
El nombre del Project. |
project-1 |
|
logtail_version |
La versión de Logtail. |
0.14.2 |
|
os |
El sistema operativo. |
Windows |
|
parse_failures |
El número de líneas que no se pudieron analizar sintácticamente dentro de la ventana de tiempo. |
12 |
|
read_avg_delay |
La diferencia promedio entre el tamaño del archivo y el desplazamiento de lectura para cada operación de lectura dentro de la ventana de tiempo. |
65 |
|
read_count |
El número de operaciones de lectura dentro de la ventana de tiempo. |
10 |
|
read_offset |
El desplazamiento de lectura actual en el archivo, en bytes. |
12345 |
|
regex_match_failures |
El número de fallos de coincidencia de expresiones regulares. |
1 |
|
send_failures |
El número de operaciones de envío fallidas dentro de la ventana de tiempo. |
12 |
|
source_ip |
La dirección IP del servidor donde está instalado Logtail. |
47.100.. |
|
succeed_lines |
El número de líneas de registro procesadas correctamente. |
123 |
|
time_format_failures |
El número de fallos de coincidencia de formato de tiempo. |
122 |
|
total_bytes |
El número total de bytes leídos. |
12345 |
Los siguientes campos aparecen solo en las estadísticas del logstore, donde el campo file_name está establecido en logstore_statistics.
|
Parámetro |
Descripción |
Ejemplo |
|
send_block_flag |
Indica si la cola de envío está bloqueada al final de la ventana de tiempo. |
false |
|
send_discard_error |
El número de paquetes descartados dentro de la ventana de tiempo debido a errores de datos o permisos insuficientes. |
0 |
|
send_network_error |
El número de paquetes que no se pudieron enviar dentro de la ventana de tiempo debido a errores de red. |
12 |
|
send_queue_size |
El número de paquetes no enviados en la cola de envío al final de la ventana de tiempo. |
3 |
|
send_quota_error |
El número de paquetes que no se pudieron enviar dentro de la ventana de tiempo porque se excedió la cuota. |
0 |
|
send_success_count |
El número de paquetes enviados correctamente dentro de la ventana de tiempo. |
12345 |
|
sender_valid_flag |
Indica si la marca de envío para el logstore es válida al final de la ventana de tiempo. Valores válidos:
|
true |
|
max_send_success_time |
La marca de tiempo UNIX de la última operación de envío exitosa dentro de la ventana de tiempo. |
1525342763 |
|
max_unsend_time |
La marca de tiempo UNIX del paquete más reciente que no se pudo enviar desde la cola de envío dentro de la ventana de tiempo. El valor es 0 si la cola está vacía. |
1525342764 |
|
min_unsend_time |
La marca de tiempo UNIX del paquete más antiguo que no se pudo enviar desde la cola de envío dentro de la ventana de tiempo. El valor es 0 si la cola está vacía. |
1525342764 |
Registros de estado de Logtail
|
Parámetro |
Descripción |
Ejemplo |
|
cpu |
Uso de CPU del proceso Logtail. |
0.001333156 |
|
hostname |
Nombre de host del servidor. |
abc2.**** |
|
instance_id |
ID de la instancia, generado de forma aleatoria. |
05AFE618-0701-11E8-A95B-00163E025256_10.11.12.13_151745**** |
|
ip |
Dirección IP del host. |
47.100.. |
|
load |
Carga promedio del sistema. |
0.01 0.04 0.05 2/376 5277 |
|
memory |
Uso de memoria del proceso Logtail, en MB. |
12 |
|
detail_metric |
Métricas detalladas en formato JSON. Para más información, consulte detail_metric. |
|
|
os |
Sistema operativo. |
Linux |
|
os_cpu |
Uso general de CPU del sistema. |
0.004120005 |
|
os_detail |
Información detallada del sistema operativo. |
2.6.32-220.23.8.tcp1.34.el6.x86_64 |
|
user |
Nombre de usuario. |
user |
|
user_defined_id |
ID definido por el usuario. |
aliyun-log-id |
|
uuid |
UUID del host. |
64F28D10-D100-492C-8FDC-0C62907F**** |
|
version |
Versión de Logtail. |
0.14.2 |
|
project |
Proyecto que contiene la configuración de Logtail. |
my-project |
El campo detail_metric es un objeto JSON con los siguientes campos.
|
Parámetro |
Descripción |
Ejemplo |
|
config_count |
Número de configuraciones de Logtail. |
1 |
|
config_get_last_time |
Última vez que se obtuvo la configuración de Logtail. |
2021-07-20 16:19:22 |
|
config_update_count |
Número de actualizaciones de la configuración de Logtail desde su inicio. |
1 |
|
config_update_item_count |
Total de elementos de configuración de Logtail actualizados desde el inicio. |
1 |
|
config_update_last_time |
Marca de tiempo de la última actualización de configuración de Logtail. |
2021-07-20 16:18:42 |
|
env_config |
Indica si se usan variables de entorno para crear la configuración de Logtail. |
false |
|
event_tps |
Número de eventos por segundo (TPS). |
1 |
|
last_read_event_time |
Marca de tiempo del último evento leído. |
2021-07-20 16:18:42 |
|
last_send_time |
Marca de tiempo del último envío de datos. |
2021-07-20 16:18:42 |
|
multi_config |
Indica si varias configuraciones de Logtail recopilan datos del mismo archivo. |
false |
|
net_err_stat |
Cantidad de errores de red ocurridos en los últimos 1, 5 y 15 minutos. |
0,0,0 |
|
open_fd |
Número de descriptores de archivo abiertos actualmente. |
1 |
|
plugin_enabled |
Indica si la funcionalidad de plugin está habilitada.
|
false |
|
poll_modify_size |
Número de archivos monitoreados en busca de eventos de modificación. |
1 |
|
polling_dir_cache |
Número de directorios en la caché de sondeo. |
1 |
|
polling_file_cache |
Número de archivos en la caché de sondeo. |
1 |
|
process_bytes_ps |
Volumen de registros procesados por segundo, en bytes. |
1000 |
|
process_lines_ps |
Número de líneas de registro procesadas por segundo. |
1000 |
|
process_queue_full |
Número de colas de procesamiento llenas. |
1 |
|
process_queue_total |
Número total de colas de procesamiento. |
10 |
|
process_tps |
Número de transacciones de procesamiento por segundo (TPS). |
0 |
|
reader_count |
Número de archivos que se leen actualmente. |
1 |
|
region |
Región donde se encuentra el host. |
cn-hangzhou |
|
register_handler |
Número de directorios registrados para monitoreo. |
1 |
|
send_bytes_ps |
Volumen de registros sin procesar enviados por segundo, en bytes. |
11111 |
|
send_lines_ps |
Número de líneas de registro enviadas por segundo. |
1000 |
|
send_net_bytes_ps |
Volumen de tráfico de red enviado por segundo, en bytes. |
1000 |
|
send_queue_full |
Número de colas de envío llenas. |
1 |
|
send_queue_total |
Número total de colas de envío. |
12 |
|
send_request_concurrency |
Número máximo de solicitudes de envío simultáneas. |
10 |
|
send_tps |
Número de transacciones de envío por segundo (TPS). |
0.075 |
|
sender_invalid |
Número de colas de envío en estado de error. |
0 |
|
start_time |
Hora de inicio del proceso Logtail. |
2021-07-20 16:19:22 |
|
used_sending_concurrency |
Número actual de solicitudes de envío activas. |
0 |
Registros de ejecución de trabajos SQL programados
|
Campo |
Descripción |
Ejemplo |
|
__topic__ |
Tema del registro. Siempre es |
scheduled_sql_alert |
|
project |
Proyecto que contiene el trabajo SQL programado. |
my-project-name |
|
job_name |
Nombre del trabajo SQL programado. |
sql-16xxxxxxx-xxxxxx |
|
schedule_id |
ID de la programación. |
77****ca |
|
job_type |
Tipo de trabajo SQL programado. Siempre es |
ScheduledSQL |
|
instance_id |
ID de la instancia. |
7e****dc |
|
create_time |
Hora de creación de la instancia, como marca de tiempo UNIX en segundos. |
1652343365 |
|
schedule_time |
Hora programada de la instancia, como marca de tiempo UNIX en segundos. |
1652343360 |
|
trigger_time |
Hora en que se activó la ejecución de la instancia, como marca de tiempo UNIX en segundos. |
1652343365 |
|
__time__ |
Hora de finalización de la ejecución de la instancia, como marca de tiempo UNIX en segundos. |
1652343366 |
|
status |
Estado de ejecución de la instancia. Los valores posibles son |
FAILED |
|
error_code |
Código de error si la ejecución de la instancia falló. |
SQLFailed |
|
error_message |
Mensaje de error detallado si la ejecución de la instancia falló. |
sql syntax error |
|
fallbehind |
Latencia de ejecución en segundos, medida como la diferencia entre |
85 |
|
succeed_lines |
|
100 |
Registros operativos de trabajos ETL
|
Parámetro |
Descripción |
Ejemplo |
|
__topic__ |
Tema del registro. El valor siempre es |
etl_metrics |
|
metric_type |
Identificador de tipo del registro operativo. El valor siempre es |
ConnectorMetrics |
|
project |
Proyecto que contiene el trabajo. |
my-sls-project |
|
job_name |
Nombre del trabajo. |
job-16****53 |
|
instance_id |
ID de la instancia del trabajo. |
10e****b4f6 |
|
_etl_:connector_meta |
Metadatos del origen o destino de datos. Para más información, consulte _etl_:connector_meta. |
N/A |
|
_etl_:connector_metrics |
Métricas operativas del origen o destino de datos. Para más información, consulte _etl_:connector_metrics. |
N/A |
El campo _etl_:connector_meta incluye los siguientes subcampos.
|
Parámetro |
Descripción |
Ejemplo |
|
action |
Operación que realiza el trabajo. Valores válidos:
|
ingest |
|
connector |
Tipo de origen o destino de datos.
|
oss |
|
instance |
Nombre de la instancia de origen o destino. |
my-oss-bucket |
|
task_id |
ID de la tarea. |
1669277 |
|
task_name |
Nombre de la tarea. |
1652765276578_task_0 |
|
task_type |
Tipo de tarea. El valor siempre es |
CONNECTOR |
El campo _etl_:connector_metrics incluye los siguientes subcampos.
|
Parámetro |
Descripción |
Ejemplo |
|
state |
Estado operativo del trabajo.
|
0 |
|
error |
Mensaje de error del trabajo. Este campo solo aparece cuando ocurre un error. |
fail to pull logs, unauthorized |
|
lags |
Progreso del trabajo. El campo lags solo aparece en los registros de trabajos de lectura de datos; es decir, cuando el valor del campo action es ingest. El valor de este campo depende del tipo de origen de datos (campo connector).
|
0.813 |
|
desc |
En trabajos de lectura de datos, es decir, cuando el campo action tiene el valor ingest, el campo desc aparece en el registro. Su valor depende del tipo de origen de datos (campo connector).
|
s |
|
events |
Número de entradas de datos procesadas en el intervalo de reporte. |
13245 |
|
failed |
Número de entradas de datos que no se pudieron procesar en el intervalo de reporte. |
3 |
|
native_bytes |
Tamaño bruto de los datos procesados en el intervalo de reporte, en bytes. |
7539125 |
|
events_bytes |
Tamaño de los datos analizados procesados en el intervalo de reporte, en bytes. |
13295475 |
|
pub_net_bytes |
Tráfico de Internet generado por los datos procesados en el intervalo de reporte, en bytes. |
45678 |
|
req_count |
Número de solicitudes enviadas al origen o destino de datos en el intervalo de reporte. |
89 |
|
rep_time |
Latencia promedio de solicitud para el origen o destino de datos en el intervalo de reporte. |
38 |
|
rate_limit_hits |
Número de veces que se alcanzó el límite de tasa en el origen o destino de datos durante el intervalo de reporte. |
1 |
|
extras |
Información adicional. Este campo solo se incluye si hay un valor presente. El valor de este campo depende del tipo de origen de datos (campo connector). |
{"events":"898","objectName":"shenzhen/2022/05/18/15/19_1652858350000000000_315eb857efeb9f00.snappy","objectSize":"212792"} |