Importar datos de Google Cloud Storage a SLS - Simple Log Service - Centro de documentación de Alibaba Cloud

Simple Log Service (SLS) importa archivos de registro desde Google Cloud Storage (GCS) mediante el protocolo compatible con S3. Esto permite la consulta, el análisis y el monitoreo centralizados de registros en diferentes nubes.

Importante

Este documento describe cómo se integran los servicios de Alibaba Cloud con productos de terceros y, por lo tanto, puede mencionar nombres de empresas o productos externos.

Descripción general de la solución

En una arquitectura multinube o en un escenario de migración a la nube, los datos de registro suelen estar dispersos en distintas plataformas. La importación de registros de GCS a Alibaba Cloud SLS permite una gestión y un análisis unificados.

Casos de uso:

Gestión centralizada de registros multinube: Si sus servicios están desplegados tanto en Alibaba Cloud como en Google Cloud, puede agregar todos los registros en SLS para realizar análisis de correlación y configurar alertas.
Sincronización de datos durante la migración a la nube: Mientras migra de Google Cloud a Alibaba Cloud, sincronice continuamente los registros históricos de GCS a SLS para garantizar que sigan siendo consultables durante la transición.
Auditoría de cumplimiento entre nubes: Agregue registros operativos de varias plataformas en la nube en una plataforma unificada para auditorías de cumplimiento y análisis de seguridad.

GCS ofrece una interfaz de interoperabilidad compatible con Amazon S3. La función de importación de datos de SLS utiliza esta interfaz para extraer archivos de registro de un bucket de GCS mediante autenticación con clave HMAC.

Requisitos previos

Antes de comenzar, complete las siguientes preparaciones en Alibaba Cloud y en Google Cloud.

Alibaba Cloud

Confirme los permisos de su cuenta. Si utiliza un usuario RAM, asegúrese de que la política AliyunLogFullAccess esté adjunta al usuario. Para un control más detallado, consulte Create a custom policy.
Cree un Project y un LogStore para almacenar los datos importados.

GCS

Obtenga la siguiente información de configuración de claves desde GCS. La necesitará para crear la tarea de importación de datos de SLS.

Parámetro	Descripción
Endpoint de GCS	De forma predeterminada, el endpoint global es `https://storage.googleapis.com`. Para acceder a un bucket en una región específica, puede usar un endpoint regional, como `https://storage.googleapis.com/storage/v1`.
Nombre del bucket	El nombre del bucket de GCS que almacena los archivos de registro.
AccessKeyId / AccessKeySecret	La clave HMAC para GCS, utilizada para la autenticación mediante el protocolo compatible con S3. Para obtener instrucciones sobre cómo conseguir esta clave, consulte el paso 3 a continuación.

Obtenga el nombre del bucket. En la consola de Google Cloud, vaya a Cloud Storage > Buckets. Busque el nombre del bucket de destino (por ejemplo, demoh01) en la lista y anótelo para la configuración posterior.
Obtenga el AccessKeyId y el AccessKeySecret. En la consola de Google Cloud Storage, haga clic en Settings en el panel de navegación izquierdo. En la parte inferior de la página, en la sección "Access keys for your user account", haga clic en Create key para generar una clave HMAC. Luego, copie la clave de acceso correspondiente (AccessKeyId) y el secreto (AccessKeySecret).

Facturación

El costo de la función de importación de datos de SLS depende del modo de facturación:

Pay-by-write-traffic: Los cargos se basan en el volumen de datos de registro sin procesar escritos en SLS.
Pay-by-feature: Los cargos se calculan según una combinación de factores, incluido el tráfico de lectura/escritura, el número de operaciones de lectura/escritura, el tráfico de índices (si habilita la indexación) y el espacio de almacenamiento.

Procedimiento

Paso 1: Crear una tarea de importación de datos de SLS

Inicie sesión en la consola de Simple Log Service.
Haga clic en el nombre del Project de destino para abrir su página de detalles.
En el panel de navegación izquierdo, haga clic en Task Management y cambie a la pestaña Data Import.
Haga clic en Create Data Import Task. En la tarjeta GCS-Data Import, haga clic en Import Now.
Seleccione el LogStore de destino para la importación de datos y haga clic en Next.

En la página Import Configurations, configure la información del origen de datos. La siguiente tabla describe los parámetros.

Parámetro	Descripción	Ejemplo
Display Name	Un nombre para identificar y gestionar la tarea de importación.	`gcs-log-import`
GCS Endpoint	El endpoint de acceso de GCS. El valor predeterminado, `https://storage.googleapis.com`, generalmente no requiere cambios.	`https://storage.googleapis.com`
Bucket	El nombre del bucket de GCS que almacena los archivos de registro.	`my-log-bucket`
AccessKeyId	El ID de clave de acceso de la clave HMAC de GCS. Para obtener instrucciones, consulte Prerequisites.	`GOOG1E***`
AccessKeySecret	La clave secreta HMAC emparejada con el AccessKeyId.	`bGoa***`
File Prefix (opcional)	Especifica un prefijo para filtrar los archivos que se importarán. Si se deja vacío, se importan todos los archivos del bucket.	`logs/2026/`
Data Format	El formato de datos de los archivos de registro. Los formatos compatibles incluyen JSON, CSV y valores separados por delimitadores. Seleccione el formato que coincida con los registros reales almacenados en GCS.	Cadena JSON

Haga clic en Preview. SLS intentará conectarse a GCS y leer los archivos.

Nota
Si la conexión falla, compruebe su conectividad de red, asegúrese de que el nombre del bucket, el AccessKeyId y el AccessKeySecret sean correctos, y verifique que la cuenta de servicio asociada a la clave HMAC tenga permisos de lectura.
Después de confirmar que los datos de vista previa son correctos, haga clic en Next.

Paso 2: Consultar y gestionar la tarea de importación

Una vez creada la tarea, esta se inicia automáticamente y se ejecuta de forma continua.

En el panel de navegación izquierdo, haga clic en Task Management.
Seleccione la pestaña Data Import y haga clic en el nombre de la tarea de destino para abrir su página de descripción general. Aquí puede consultar métricas de monitoreo como el estado de la tarea, la tasa de procesamiento y la información de errores.

Solución de problemas

Error de conexión a GCS

Si la conexión falla después de hacer clic en Preview durante la creación de la tarea, realice las siguientes comprobaciones:

Configuración incorrecta del endpoint: Asegúrese de que el GCS Endpoint esté establecido en https://storage.googleapis.com. Incluya el prefijo https://.
Nombre de bucket incorrecto: Confirme que el nombre del bucket sea idéntico al nombre que aparece en la consola de GCS. Los nombres de los buckets distinguen entre mayúsculas y minúsculas.
Problemas de conectividad de red: SLS accede a GCS a través de Internet público. Asegúrese de que su bucket de GCS no tenga políticas que restrinjan el acceso desde direcciones IP externas.

Error de autenticación (relacionado con AccessKey)

Si ocurre un error de autenticación o de permisos insuficientes durante la vista previa o la ejecución de la tarea, realice las siguientes comprobaciones:

Clave HMAC no válida: Asegúrese de que el AccessKeyId y el AccessKeySecret sean las claves HMAC obtenidas de la página de interoperabilidad de GCS. No utilice una API Key de Google Cloud ni credenciales de OAuth.
Permisos insuficientes: Verifique que la cuenta de servicio asociada a la clave HMAC tenga como mínimo los permisos storage.objects.get y storage.objects.list para el bucket de destino. Por lo general, otorgar el rol Storage Object Viewer es suficiente.
Clave deshabilitada o eliminada: Inicie sesión en la consola de GCS y compruebe que el estado de la clave HMAC sea Active.

Errores de análisis sintáctico de datos

Si la tarea de importación se ejecuta correctamente pero los datos de registro no se analizan en campos como se esperaba, realice las siguientes comprobaciones:

Formato de datos seleccionado incorrecto: Asegúrese de que el formato de datos especificado en la configuración de importación coincida con el formato real de los archivos de registro en GCS. Por ejemplo, si los archivos de registro están en formato JSON, el formato de datos debe establecerse en JSON string.
Discrepancia en la codificación de archivos: Asegúrese de que los archivos de registro estén codificados en UTF-8. Si se utiliza otra codificación, debe seleccionar el formato de codificación correspondiente en la configuración de importación.
Filtrado de prefijo de archivo inadecuado: Si se configuró un prefijo de archivo, asegúrese de que la ruta del prefijo sea correcta y no excluya los archivos de registro de destino.