Importar registros históricos desde archivos de registro - Simple Log Service

Logtail recopila únicamente los registros incrementales. Si un archivo de registro no se actualiza después de que una configuración de Logtail se entrega y aplica en su servidor, Logtail no recopila registros de ese archivo. Para recopilar registros históricos, utilice la función de importación de registros históricos de Logtail.

Importante

El uso de local_event.json para recopilar archivos históricos ya no se recomienda.

Simple Log Service ofrece una nueva función Batch-collect server text logs compatible con el despliegue por lotes de configuraciones desde la consola, las cargas reanudables, el monitoreo integral del progreso y el control de recursos. Se recomienda usar esta función para importar datos históricos.

Requisitos previos

Logtail V0.16.15 o posterior está instalado en su servidor Linux, o bien Logtail V1.0.0.1 o posterior está instalado en su servidor Windows. Para obtener más información, consulte Install Logtail on a Linux server o Install Logtail on a Windows server.
Se creó una configuración de Logtail y se aplicó a su grupo de máquinas. Para obtener más información, consulte Overview of text log collection.

Nota
Si una configuración de Logtail se usa solo para importar registros históricos desde archivos de registro, especifique una ruta de recopilación que no exista.

Información de contexto

Nota

Logtail recopila registros a partir de los eventos de modificación de los archivos monitoreados. También puede cargar eventos desde archivos locales para recopilar registros. De este modo, carga eventos locales para importar registros históricos desde archivos de registro.
La latencia máxima permitida para importar eventos locales es de 1 minuto.
Cuando se carga un evento local, Logtail envía el mensaje LOAD_LOCAL_EVENT_ALARM a su servidor.
Si necesita importar una gran cantidad de archivos, se recomienda modificar los parámetros de inicio de Logtail. Establezca el umbral de uso de CPU en 2.0 o más, y el umbral de uso de memoria en 512 MB o más. Para obtener más información, consulte Configure the startup parameters of Logtail.
Si su archivo de registro contiene caracteres chinos, configure un conjunto de caracteres para dicho archivo.

Debe importar los registros históricos desde archivos de registro en el directorio de instalación de Logtail. Este directorio varía según el sistema operativo. A continuación se describen los directorios de instalación de Logtail en distintos sistemas operativos.

Sistema operativo	Logtail	Directorio de instalación de Logtail
Linux	Logtail (64 bits)	/usr/local/ilogtail
Windows de 64 bits	Logtail (64 bits)	C:\Program Files\Alibaba\Logtail
Windows de 64 bits	Logtail (32 bits)	C:\Program Files (x86)\Alibaba\Logtail Nota En Windows de 64 bits se pueden ejecutar aplicaciones de 32 y 64 bits. Para garantizar la compatibilidad, el sistema operativo almacena las aplicaciones de 32 bits en un directorio x86 independiente.
Windows de 32 bits	Logtail (32 bits)	C:\Program Files\Alibaba\Logtail

Procedimiento

Obtenga el identificador único de la configuración de Logtail.
Este identificador se obtiene del archivo user_log_config.json ubicado en el directorio de instalación de Logtail. Por ejemplo, ejecute el siguiente comando para obtenerlo en un servidor Linux:
```
grep "##" /usr/local/ilogtail/user_log_config.json | awk '{print $1}'
```

Agregue un evento local.

Cree el archivo local_event.json en el directorio de instalación de Logtail.

Agregue el evento local en formato JSON al archivo local_event.json.

Importante

Para evitar que Logtail cargue un evento JSON no válido, guarde la configuración del evento local en un archivo temporal para editarla. Una vez editada, copie la configuración al archivo local_event.json.

[ 
  {
    "config" : "${your_config_unique_id}",
    "dir" : "${your_log_dir}",
    "name" : "${your_log_file_name}"
   },
  {
   ...
   }
   ...
]

Parámetro	Descripción
config	Introduzca el identificador único de la configuración de Logtail obtenido en Step 1. Ejemplo: `##1.0##log-config-test$ecs-test`.
dir	Especifique el directorio del archivo de registro desde el cual desea importar los registros históricos. Ejemplo: /data/logs. Importante No termine el valor con una barra diagonal `(/)`. No especifique el directorio de instalación de Logtail, como `/usr/local/ilogtail`.
name	Especifique el nombre del archivo de registro desde el cual desea importar los registros históricos. Los caracteres comodín son compatibles. Ejemplos: access.log.2018-08-08 y access.log*.

El siguiente código de ejemplo muestra cómo configurar un evento local en Linux:

$ cat /usr/local/ilogtail/local_event.json
[
  {
    "config": "##1.0##log-config-test$ecs-test",
    "dir": "/data/log",
    "name": "access.log*"
  },
  {
    "config": "##1.0##log-config-test$tmp-test",
    "dir": "/tmp",
    "name": "access.log.2017-08-09"
  }
]

Preguntas frecuentes

¿Cómo compruebo si Logtail carga una configuración de Logtail?

En la mayoría de los casos, después de guardar el archivo local_event.json, Logtail carga su contenido en la memoria en menos de 1 minuto y luego lo borra.

Utilice los siguientes métodos para comprobar si se cargó una configuración de Logtail:
1. Si el archivo local_event.json no tiene contenido, Logtail ya leyó la información del evento.
2. Compruebe si el archivo ilogtail.LOG del directorio de instalación de Logtail contiene el parámetro process local event. Si el archivo local_event.json está vacío y no se encuentra el parámetro process local event, es posible que el contenido se haya filtrado por no ser válido.
¿Por qué no puedo recopilar datos después de cargar una configuración de Logtail?
- La configuración de Logtail no es válida.
- La configuración del archivo local_event.json no es válida.
- El archivo de registro del que desea recopilar datos no se encuentra en el directorio especificado en la configuración de Logtail.
- Los registros del archivo de origen ya se recopilaron.

Qué hacer a continuación

Una vez importados los registros históricos, puede consultarlos y analizarlos. Para obtener más información, consulte Query and analyze logs in index mode.