How to ship Simple Log Service data to OSS - - Centro de documentación de Alibaba Cloud

Envíe los datos de registro recopilados desde Simple Log Service a Object Storage Service (OSS) para su almacenamiento y análisis a largo plazo.

Importante

La versión anterior del envío de registros a OSS se ha descontinuado. Consulte la new version.

Requisitos previos

Debe completar la Autorización de acceso a recursos en la nube.

Para enviar registros entre cuentas de Alibaba Cloud o utilizar un usuario RAM, complete primero la RAM authorization for shipping logs to OSS.

En la página de Autorización de acceso a recursos en la nube, seleccione el rol AliyunLogDefaultRole, que incluye permisos de escritura en OSS, y haga clic en Agree to Authorization.

Descripción general

Simple Log Service archiva automáticamente los datos del logstore en OSS para su almacenamiento y análisis a largo plazo.

Las reglas de ciclo de vida de OSS admiten la retención de datos a largo plazo.
Procese los datos de OSS con E-MapReduce, Data Lake Analytics (DLA) o programas personalizados.

Envío de datos

Importante

Después de habilitar el envío, Simple Log Service ejecuta instancias de envío de forma simultánea.
Una vez creada una instancia de envío, compruebe el estado de la tarea y verifique los datos enviados a OSS.

Inicie sesión en la consola de Simple Log Service.
En la sección Projects, haga clic en el proyecto deseado.

En el panel Data Shipping to OSS, configure los siguientes parámetros y haga clic en OK.

Establezca Shipping Version en Old Version y configure los siguientes parámetros.

Parámetro	Descripción
Nombre de envío a OSS	El nombre de la tarea de envío.
Bucket de OSS	El nombre del bucket de OSS. Importante
Prefijo de OSS	El prefijo de directorio en el bucket de OSS. El valor no puede comenzar con una barra diagonal (/) ni con una barra invertida (\). Los datos del logstore se envían a este directorio en el bucket de OSS de destino.
Formato de partición	Una ruta de directorio generada dinámicamente según la hora de creación de la tarea. El valor no puede comenzar con una barra diagonal (/). Valor predeterminado: %Y/%m/%d/%H/%M. Para ver ejemplos, consulte Partition format. Para referencia de parámetros, consulte la API strptime.
Rol RAM para escribir en OSS	El rol RAM que otorga acceso de escritura al bucket de OSS para la tarea de envío.
Tamaño de envío	Tamaño máximo de datos sin comprimir por fragmento. Valores válidos: de 5 a 256 MB. Se crea una nueva instancia de envío cuando los datos alcanzan este tamaño.
Formato de almacenamiento	El formato de archivo para los datos almacenados en OSS. Formatos compatibles: JSON format, CSV format y Parquet format.
Compresión	El método de compresión para los datos enviados a OSS. Ninguna: Los datos se almacenan sin compresión. snappy: Comprime los datos mediante el algoritmo snappy para reducir el uso de almacenamiento en OSS.
Intervalo de envío	El intervalo de envío por fragmento. Valores válidos: de 300 a 900 segundos. Valor predeterminado: 300 segundos. Se crea una nueva instancia de envío cuando transcurre este intervalo.

Consultar datos en OSS

En este formato, OSS-BUCKET es el nombre del bucket, OSS-PREFIX es el prefijo de directorio, PARTITION-FORMAT es la ruta de partición generada a partir de la hora de creación de la tarea de envío mediante la API strptime, y RANDOM-ID es el identificador único de la tarea de envío.

Nota

El directorio de OSS se basa en la hora de creación de la tarea de envío, no en la marca de tiempo de los datos de registro. Por ejemplo, si una tarea creada el 2016-06-23 00:00:00 envía datos escritos después del 2016-06-22 23:55 cada 5 minutos, para analizar todos los datos del 2016-06-22 es necesario revisar tanto el directorio 2016/06/22 como los primeros diez minutos del directorio 2016/06/23/00/.

Formato de partición

Cada tarea de envío se asigna a un directorio de OSS con el formato oss://OSS-BUCKET/OSS-PREFIX/PARTITION-FORMAT_RANDOM-ID. PARTITION-FORMAT se deriva de la hora de creación de la tarea. La siguiente tabla muestra ejemplos basados en una tarea creada el 2017/01/20 19:50:43.

Bucket de OSS	Prefijo de OSS	Formato de partición	Ruta del objeto OSS
test-bucket	test-table	%Y/%m/%d/%H/%M	oss://test-bucket/test-table/2017/01/20/19/50_1484913043351525351_2850008
test-bucket	log_ship_oss_example	year=%Y/mon=%m/day=%d/log_%H%M%S	oss://test-bucket/log_ship_oss_example/year=2017/mon=01/day=20/log_195043_1484913043351525351_2850008.parquet
test-bucket	log_ship_oss_example	ds=%Y%m%d/%H	oss://test-bucket/log_ship_oss_example/ds=20170120/19_1484913043351525351_2850008.snappy
test-bucket	log_ship_oss_example	%Y%m%d/	oss://test-bucket/log_ship_oss_example/20170120/_1484913043351525351_2850008 Nota Este formato puede impedir que plataformas como Hive analicen sintácticamente el contenido de OSS. Se recomienda evitar este formato.
test-bucket	log_ship_oss_example	%Y%m%d%H	oss://test-bucket/log_ship_oss_example/2017012019_1484913043351525351_2850008

Gestionar tareas de envío

En la página OSS Shipper, puede modificar, deshabilitar o reintentar tareas de envío, así como consultar sus estados y mensajes de error.

Modificar una tarea de envío

Haga clic en Shipping Configuration para modificar la tarea de envío. Descripciones de parámetros: Ship data.
Deshabilitar una tarea de envío

Haga clic en Disable para detener la tarea de envío.

Consultar el estado de la tarea y los mensajes de error

Consulte las tareas de envío y sus estados correspondientes a los últimos dos días.

Estado de la tarea

Estado	Descripción
Succeeded	La tarea de envío se ejecuta según lo esperado.
Running	La tarea de envío está en curso. Vuelva a comprobarlo más tarde.
Failed	La tarea falló debido a un error externo y no se puede reintentar automáticamente. Solucione el problema según el mensaje de error y reintente la operación.

Mensajes de error

Si una tarea de envío falla, la consola muestra un mensaje de error.

Mensaje de error	Causa	Solución
UnAuthorized	No cuenta con los permisos obligatorios.	Compruebe lo siguiente: El propietario del bucket de OSS ha creado el rol AliyunLogDefaultRole. El ID de la cuenta de Alibaba Cloud en la política de confianza del rol es correcto. El rol AliyunLogDefaultRole tiene permisos de escritura en el bucket de OSS. El ARN del rol RAM es correcto.
ConfigNotExist	La configuración de envío no existe.	Este error suele ocurrir porque la tarea de envío se deshabilitó. Vuelva a habilitar la tarea e inténtelo de nuevo.
InvalidOssBucket	El bucket de OSS no existe.	Compruebe lo siguiente: El bucket de OSS se encuentra en la misma región que el proyecto de Simple Log Service. El nombre del bucket es correcto.
InternalServerError	Ocurrió un error interno en Simple Log Service.	Reintente la tarea.

Reintentar tareas

Simple Log Service reintenta automáticamente las tareas con errores de los últimos dos días en intervalos de retroceso exponencial: 15 minutos, 30 minutos, 60 minutos, etc.

Para reintentar inmediatamente las tareas con errores, haga clic en Retry All Failed Tasks, haga clic en Retry junto a la tarea objetivo, o utilice una API o SDK para reintentar una tarea específica.