Simple Log Service:Crear una tarea de Scheduled SQL para importar datos entre logstores

Requisitos previos

• Prepare el logstore de origen.

  Cree un proyecto de Log Service y un logstore estándar; a continuación, complete la recopilación de datos y la indexación. Para obtener más información, consulte Manage a project, Create a standard Logstore, Data collection overview y Create an index.

• Prepare el logstore de destino.

  En la cuenta de Alibaba Cloud donde desea almacenar los resultados, cree un proyecto de Log Service y un logstore estándar; después, habilite la indexación.

Procedimiento

1. Inicie sesión en la consola de Log Service correspondiente al proyecto que contiene el logstore de origen. Use una cuenta de Alibaba Cloud o un usuario de RAM con permisos de Scheduled SQL.

2. En la sección Projects, haga clic en el proyecto que contiene el logstore de origen.

3. En el panel de navegación izquierdo, haga clic en Log Storage. En la lista de Logstore, haga clic en el logstore que desea analizar. Este será el logstore de origen para la tarea de Scheduled SQL.

4. Introduzca una sentencia de consulta y análisis, y luego haga clic en Last 15 Minutes para establecer un intervalo de tiempo para la consulta y el análisis.

   Nota

   Obtenga una vista previa de la tarea para comprobar que su sentencia de consulta y análisis devuelve los datos esperados.

5. En la pestaña Graph, haga clic en Save as Scheduled SQL Job.

6. Cree una tarea de Scheduled SQL.

   1. En el asistente de Compute Settings, configure los parámetros y haga clic en Next.

      Parámetro	Descripción
      Task Name	Nombre único de la tarea. Puede usar el nombre predeterminado.
      Write Mode	Seleccione Import Data from Logstore to Logstore. Este modo procesa los datos del logstore de origen y escribe los resultados en un logstore de destino.
      SQL Code	Se muestra la sentencia de consulta y análisis del paso 4. Para usar una sentencia diferente, introdúzcala, seleccione un intervalo de tiempo y haga clic en Preview para confirmar los resultados. Cuando se ejecuta la tarea de Scheduled SQL, Simple Log Service ejecuta la sentencia para analizar los datos.
      Target Aviso No configure el almacén de destino igual que el almacén de origen. De lo contrario, los registros podrían escribirse en bucle, lo que genera costos adicionales de almacenamiento y tráfico. Usted es responsable del consumo de recursos y los costos resultantes. Misma cuenta Parámetro Descripción Destination Region Seleccione la región del Destination Project. Destination Project Seleccione el Destination Project. Target Store Seleccione el logstore de destino. Write Authorization Seleccione un Default Role o un Custom Role para escribir datos en el logstore de destino. Default Role: Otorga permisos para ejecutar análisis SQL en logstores o MetricStores de origen y escribir los resultados en logstores o MetricStores de destino. Create a Scheduled SQL task by using a default role. Custom Role: Cree un rol y una política personalizados para un control de acceso detallado. Grant a custom RAM role the permissions to write data to a destination Logstore. Cuentas cruzadas Parámetro Descripción Destination Region Seleccione otra región y acepte el Data Cross-border Compliance Commitment. Destination Project Introduzca el nombre del proyecto de destino, por ejemplo, test-project. Target Store Introduzca el nombre del logstore de destino, por ejemplo, test-logstore. Write Authorization Seleccione Custom Role. Grant a custom RAM role the permissions to write data to a destination Logstore.
      SQL Execution Authorization	Seleccione un Default Role o un Custom Role para consultar y analizar datos en el logstore de origen. Default Role: Otorga permisos para ejecutar análisis SQL en logstores o MetricStores de origen y escribir los resultados en logstores o MetricStores de destino. Create a Scheduled SQL task by using a default role. Custom Role: Cree un rol y una política personalizados para un control de acceso detallado. Grant a custom RAM role the permissions to analyze data in a source Logstore.

   2. En el asistente de Scheduling Settings, configure los parámetros y haga clic en OK.

      Parámetro	Descripción
      Scheduling Interval	Frecuencia con la que se ejecuta la tarea. Cada ejecución genera una instancia de ejecución, y el intervalo de programación determina la hora programada de cada instancia. Fixed Interval: La tarea se programa a un intervalo fijo. Cron: Programa la tarea según una expresión Cron. La expresión Cron funciona con un reloj de 24 horas y una precisión mínima de 1 minuto. Por ejemplo, 0 0/1 * ejecuta la tarea cada hora, comenzando a las 00:00. Para configurar una zona horaria, debe seleccionar el modo Cron. Para consultar una lista de zonas horarias comunes, consulte Time zone formats.
      Scheduling Time Range	Intervalo de tiempo durante el cual se programan las instancias. Valores válidos: From Specific Time: Hora en la que se programa la primera ejecución de la instancia. Specific Time Range: Horas de inicio y fin para programar instancias. La tarea de Scheduled SQL se ejecuta únicamente dentro de este intervalo de tiempo. Nota Las instancias se ejecutan solo dentro de este intervalo. No se generan nuevas instancias fuera de él. El intervalo de tiempo de programación corresponde a __time__. Reserved fields.
      SQL Time Window	Ventana de tiempo de los registros analizados en cada ejecución. La ventana de tiempo de SQL funciona junto con el intervalo de programación; no puede superar 5 veces el Scheduling Interval ni exceder un día. Time expression syntax. Por ejemplo, si el Scheduling Interval es un intervalo fijo de 10 minutos, Start At es 2021-04-01 00:00:00, Delay Task es 30 segundos y la SQL Time Window es [@m-10m,@m), el sistema genera la primera instancia de ejecución a las 00:00:30 y analiza los registros en el intervalo de tiempo [23:50:00~00:00:00). Scheduling and execution scenarios. Nota La ventana de tiempo de SQL corresponde a __time__. Reserved fields. Si no especifica el campo __time__ en el código SQL, el campo __time__ de los registros escritos en el logstore de destino usa la hora de inicio de la ventana de programación de forma predeterminada.
      SQL Timeout	Duración máxima de reintento y número de intentos cuando falla el análisis SQL. Si se supera alguno de estos límites, la instancia falla. Puede reintentar manualmente las instancias con errores según la causa del fallo. Retry a Scheduled SQL task instance.
      Delay Task	Retraso antes de cada ejecución. Valores válidos: 0 a 120. Unidad: segundos. Use esta configuración para ajustar la escritura de datos retrasados.

7. Una vez creada la tarea, puede consultarla en la sección Job Management > Scheduled SQL. Manage Scheduled SQL tasks.

Ejemplos de SDK

Create a Scheduled SQL task