Simple Log Service:Créer une tâche SQL planifiée pour importer des données entre Logstores

Prérequis

• Préparez le Logstore source.

  Créez un projet Log Service et un Logstore standard, puis configurez la collecte et l'indexation des données. Pour plus d'informations, consultez les rubriques Gérer un projet, Créer un Logstore standard, Présentation de la collecte de données et Créer un index.

• Préparez le Logstore de destination.

  Dans le compte Alibaba Cloud où vous souhaitez stocker les résultats, créez un projet Log Service et un Logstore standard, puis activez l'indexation.

Procédure

1. Connectez-vous à la console Log Service pour le projet contenant le Logstore source. Utilisez un compte Alibaba Cloud ou un utilisateur RAM disposant des autorisations Scheduled SQL.

2. Dans la section Projets, cliquez sur le projet contenant le Logstore source.

3. Dans le volet de navigation de gauche, cliquez sur Log Storage. Dans la liste Logstore, cliquez sur le Logstore à analyser. Il s'agit du Logstore source pour la tâche Scheduled SQL.

4. Saisissez une instruction de requête et d'analyse, puis cliquez sur Last 15 Minutes pour définir la plage temporelle de la requête et de l'analyse.

   Remarque

   Prévisualisez la tâche pour vérifier que votre instruction de requête et d'analyse renvoie les données attendues.

5. Dans l'onglet Graph, cliquez sur Save as Scheduled SQL Job.

6. Créez une tâche Scheduled SQL.

   1. Dans l'assistant Compute Settings, configurez les paramètres et cliquez sur Next.

      Paramètre	Description
      Task Name	Nom unique de la tâche. Vous pouvez utiliser le nom par défaut.
      Write Mode	Sélectionnez Import Data from Logstore to Logstore. Ce mode traite les données du Logstore source et écrit les résultats dans un Logstore de destination.
      SQL Code	L'instruction de requête et d'analyse de l'étape 4 s'affiche. Pour utiliser une autre instruction, saisissez-la, sélectionnez une plage temporelle et cliquez sur Preview pour confirmer les résultats. Lorsque la tâche Scheduled SQL s'exécute, Simple Log Service exécute l'instruction pour analyser les données.
      Target Avertissement Ne définissez pas le magasin de destination comme étant identique au magasin source. Sinon, les journaux risquent d'être écrits en boucle, ce qui engendre des coûts de stockage et de trafic supplémentaires. Vous êtes responsable de toute consommation de ressources et des coûts qui en résultent. Même compte Paramètre Description Destination Region Sélectionnez la région du Destination Project. Destination Project Sélectionnez le Destination Project. Target Store Sélectionnez le Logstore de destination. Write Authorization Sélectionnez un Default Role ou un Custom Role pour écrire les données dans le Logstore de destination. Default Role : accorde les autorisations nécessaires pour exécuter l'analyse SQL sur les Logstores ou MetricStores sources et écrire les résultats dans les Logstores ou MetricStores de destination. Créer une tâche Scheduled SQL à l'aide d'un rôle par défaut. Custom Role : créez un rôle et une stratégie personnalisés pour un contrôle d'accès granulaire. Accorder à un rôle RAM personnalisé les autorisations d'écriture dans un Logstore de destination. Compte croisé Paramètre Description Destination Region Sélectionnez une autre région et acceptez l'Data Cross-border Compliance Commitment. Destination Project Saisissez le nom du projet de destination, par exemple test-project. Target Store Saisissez le nom du Logstore de destination, par exemple test-logstore. Write Authorization Sélectionnez Custom Role. Accorder à un rôle RAM personnalisé les autorisations d'écriture dans un Logstore de destination.
      SQL Execution Authorization	Sélectionnez un Default Role ou un Custom Role pour interroger et analyser les données du Logstore source. Default Role : accorde les autorisations nécessaires pour exécuter l'analyse SQL sur les Logstores ou MetricStores sources et écrire les résultats dans les Logstores ou MetricStores de destination. Créer une tâche Scheduled SQL à l'aide d'un rôle par défaut. Custom Role : créez un rôle et une stratégie personnalisés pour un contrôle d'accès granulaire. Accorder à un rôle RAM personnalisé les autorisations d'analyse des données dans un Logstore source.

   2. Dans l'assistant Scheduling Settings, configurez les paramètres et cliquez sur OK.

      Paramètre	Description
      Scheduling Interval	Fréquence d'exécution de la tâche. Chaque exécution génère une instance d'exécution, et l'intervalle de planification détermine l'heure planifiée de chaque instance. Fixed Interval : la tâche est planifiée à intervalle fixe. Cron : planifie la tâche selon une expression Cron. L'expression Cron fonctionne sur une horloge de 24 heures avec une précision minimale d'une minute. Par exemple, 0 0/1 * exécute la tâche toutes les heures, à partir de 00:00. Pour configurer un fuseau horaire, vous devez sélectionner le mode Cron. Pour obtenir la liste des fuseaux horaires courants, consultez la rubrique Formats de fuseau horaire.
      Scheduling Time Range	Plage temporelle durant laquelle les instances sont planifiées. Valeurs valides : From Specific Time : heure à laquelle la première instance est planifiée pour s'exécuter. Specific Time Range : heures de début et de fin pour planifier les instances. La tâche Scheduled SQL s'exécute uniquement dans cette plage temporelle. Remarque Les instances s'exécutent uniquement dans cette plage. Aucune nouvelle instance n'est générée en dehors de celle-ci. La plage temporelle de planification correspond à __time__. Champs réservés.
      SQL Time Window	Fenêtre temporelle des journaux analysés à chaque exécution. La fenêtre temporelle SQL fonctionne conjointement avec l'intervalle de planification ; elle ne peut pas dépasser 5 fois l'Scheduling Interval ni excéder une journée. Syntaxe des expressions temporelles. Par exemple, si l'Scheduling Interval est un intervalle fixe de 10 minutes, que Start At est défini sur 2021-04-01 00:00:00, que Delay Task est de 30 secondes et que la SQL Time Window est [@m-10m,@m), le système génère la première instance d'exécution à 00:00:30 et analyse les journaux dans la plage temporelle [23:50:00~00:00:00). Scénarios de planification et d'exécution. Remarque La fenêtre temporelle SQL correspond à __time__. Champs réservés. Si vous ne spécifiez pas le champ __time__ dans le code SQL, le champ __time__ des journaux écrits dans le Logstore de destination utilise par défaut l'heure de début de la fenêtre de planification.
      SQL Timeout	Durée maximale de nouvelle tentative et nombre de tentatives en cas d'échec de l'analyse SQL. Si l'une de ces limites est dépassée, l'instance échoue. Vous pouvez relancer manuellement les instances ayant échoué en fonction de la cause de l'échec. Relancer une instance de tâche Scheduled SQL.
      Delay Task	Délai avant chaque exécution. Valeurs valides : 0 à 120. Unité : secondes. Utilisez ce paramètre pour prendre en compte les retards d'écriture des données.

7. Une fois la tâche créée, vous pouvez la consulter dans la section Job Management > Scheduled SQL. Gérer les tâches Scheduled SQL.

Exemples SDK

Créer une tâche Scheduled SQL