Simple Log Service:Créer une tâche SQL planifiée pour importer des données d'un Logstore vers un Metricstore

Prérequis

• Vous avez collecté des données dans le Logstore source. Pour plus d'informations, consultez la rubrique Collecte de données.

• Vous avez créé un index pour le Logstore source. Pour plus d'informations, consultez la rubrique Créer un index.

• Vous avez créé le Metricstore de destination. Pour plus d'informations, consultez la rubrique Créer un Metricstore.

Procédure

1. Connectez-vous à la console Simple Log Service.

2. Dans la liste des projets, cliquez sur le projet cible.

3. Sous l'onglet Log Storage > Logstore, cliquez sur le Logstore cible.

4. Saisissez une instruction de requête et d'analyse, puis cliquez sur Last 15 Minutes pour définir la plage temporelle de la requête et de l'analyse.

   Pour plus d'informations, consultez la rubrique Étape 1 : Configurer un index.

   Remarque

   Cette étape permet de prévisualiser la tâche SQL planifiée et de vérifier que votre instruction de requête et d'analyse est valide et renvoie bien des données.

5. Sous l'onglet Graph, cliquez sur Save as Scheduled SQL Job.

6. Créez une tâche SQL planifiée.

   1. Dans l'assistant Compute Settings, configurez les paramètres suivants, puis cliquez sur Next.

      Paramètre	Description
      Task Name	Nom unique de la tâche SQL planifiée.
      Display Name	Nom d'affichage de la tâche SQL planifiée.
      Job Description	Description de la tâche SQL planifiée.
      Resource Pool	Simple Log Service met à disposition des pools de ressources améliorés pour l'analyse des données. Un pool de ressources amélioré s'appuie sur la puissance de calcul de Dedicated SQL, offre une concurrence suffisante et isole les ressources de vos opérations SQL effectuées depuis la console. La facturation est basée sur le temps CPU consommé. Pour plus d'informations, consultez la rubrique Requête et analyse haute performance et haute précision (Dedicated SQL).
      Write Mode	Sélectionnez l'option Import Data from Logstore to Metricstore afin de traiter les données du Logstore source et de les stocker dans le Metricstore de destination.
      SQL Code	Affiche l'instruction de requête et d'analyse saisie à l'étape 4. Prévisualisez les résultats pour vérifier que l'instruction est valide et renvoie des données. Lors de l'exécution de la tâche, Simple Log Service exécute cette instruction pour analyser les données.
      SQL Settings
      Metric Column	Simple Log Service agrège les données selon votre instruction de requête et d'analyse. Sélectionnez une ou plusieurs colonnes contenant des valeurs numériques parmi les résultats pour servir de colonnes de métriques. Pour plus d'informations, consultez la rubrique données de séries temporelles.
      Labels	Simple Log Service agrège les données selon votre instruction de requête et d'analyse. Sélectionnez une ou plusieurs colonnes parmi les résultats pour servir d'étiquettes. Pour plus d'informations, consultez la rubrique données de séries temporelles.
      Rehash	Activez l'option Rehash pour configurer une Hash Column. Les données partageant la même valeur de colonne de hachage sont écrites dans un seul shard, ce qui améliore la localité des données et l'efficacité des requêtes. Sélectionnez une ou plusieurs colonnes issues des résultats de la requête et de l'analyse pour servir de colonne de hachage. Par exemple, si vous définissez la Hash Column sur status, les données ayant la même valeur pour le champ status seront écrites dans le même shard.
      Time Column	Si vous sélectionnez une colonne contenant des horodatages Unix (par exemple, atime:1627025331), le système utilise ces valeurs comme horodatages pour les données de séries temporelles. Si vous sélectionnez l'option Null, le système utilise l'heure de début de la plage temporelle de la requête et de l'analyse comme horodatage des données de séries temporelles. Pour plus d'informations, consultez la rubrique données de séries temporelles.
      Additional Labels	Ajoutez des étiquettes statiques sous forme de paires clé-valeur pour identifier les attributs associés aux métriques. Par exemple, définissez label_key sur app et label_value sur ingress-nginx.
      Source Project/Logstore	Projet et Logstore où résident les données sources.
      Target
      Destination Region	Région dans laquelle se trouve le projet de destination.
      Destination Project	Nom du projet de destination où sont stockés les résultats de l'analyse SQL.
      Target Store	Nom du Metricstore de destination où sont stockés les résultats de l'analyse SQL. Avertissement Ne configurez pas le magasin de destination comme étant le magasin source actuel (configuration same-source). Sinon, les journaux risquent d'être écrits en boucle, ce qui engendre des coûts de stockage et de trafic supplémentaires. Vous êtes responsable de la consommation des ressources et des coûts encourus.
      Write Authorization	Accordez à la tâche SQL planifiée l'autorisation d'écrire des données dans le Metricstore de destination. Default Role : autorise la tâche SQL planifiée à utiliser le rôle système AliyunLogETLRole pour écrire les résultats d'exécution dans le Metricstore de destination. Custom Role : autorise la tâche SQL planifiée à utiliser un rôle personnalisé pour écrire les résultats d'exécution dans le Metricstore de destination. Vous devez d'abord accorder les autorisations requises au rôle RAM personnalisé, puis saisir son ARN dans le champ Role ARN. Pour plus d'informations, consultez la rubrique Accorder à un rôle RAM personnalisé l'autorisation d'écrire des données dans un Logstore de destination.
      SQL Execution Authorization	Accordez à la tâche SQL planifiée l'autorisation de lire les données du Logstore source et d'exécuter l'analyse SQL dans le projet actuel. Default Role : autorise la tâche SQL planifiée à utiliser le rôle système AliyunLogETLRole pour effectuer les opérations requises. Custom Role : autorise la tâche SQL planifiée à utiliser un rôle personnalisé pour effectuer les opérations requises. Vous devez d'abord accorder les autorisations requises au rôle personnalisé, puis saisir son ARN dans le champ Role ARN. Pour plus d'informations, consultez la rubrique Accorder à un rôle RAM personnalisé l'autorisation d'analyser les données d'un Logstore source.

   2. Dans l'assistant Scheduling Settings, configurez les paramètres suivants, puis cliquez sur OK.

      Paramètre	Description
      Scheduling Interval	Fréquence d'exécution de la tâche. Chaque exécution génère une instance d'exécution. Fixed Interval : planifie la tâche à intervalle fixe. Cron : planifie la tâche selon une expression cron. La précision minimale d'une expression cron est d'une minute. L'heure est au format 24 heures. Par exemple, 0 0/1 * indique que la tâche s'exécute toutes les heures, à partir de 00:00. Sélectionnez l'option Cron si vous devez configurer un fuseau horaire. Pour obtenir la liste des fuseaux horaires courants, consultez la rubrique Formats de fuseau horaire.
      Scheduling Time Range	Plage temporelle durant laquelle la tâche est planifiée. From Specific Time : spécifiez l'heure de début de la première instance d'exécution. Specific Time Range : spécifiez une heure de début et une heure de fin pour la planification. La tâche ne peut être exécutée qu'au sein de cette plage temporelle. Remarque L'heure planifiée d'une instance d'exécution doit se situer dans cette plage. La tâche cesse de générer de nouvelles instances si l'heure planifiée sort de cette plage. La plage temporelle de planification correspond au champ réservé __time__. Pour plus d'informations, consultez la rubrique Champs réservés.
      SQL Time Window	Plage temporelle des journaux à analyser lors de l'exécution de la tâche SQL planifiée. La fenêtre temporelle SQL fonctionne conjointement avec l'heure planifiée de l'instance d'exécution. La plage temporelle ne peut pas dépasser cinq fois l'Scheduling Interval ni excéder une journée. Pour plus d'informations, consultez la rubrique Syntaxe des expressions temporelles. Par exemple, si l'Scheduling Interval est un fixed interval of 10 minutes, l'option Start At est définie sur 2021-04-01 00:00:00, l'option Delay Task sur 30 seconds et la SQL Time Window sur [@m-10m,@m), la première instance d'exécution est générée à 00:00:30. Elle analyse les journaux de la plage temporelle [23:50:00, 00:00:00). Pour plus d'informations, consultez la rubrique Scénarios de planification et d'exécution. Remarque La fenêtre temporelle SQL correspond au champ réservé __time__. Pour plus d'informations, consultez la rubrique Champs réservés. Si __time__ n'est pas défini dans le code SQL, la valeur __time__ des données écrites dans le Metricstore de destination correspond par défaut à l'heure de début de la fenêtre temporelle SQL.
      SQL Timeout	Délai d'expiration pour la nouvelle tentative des opérations d'analyse SQL ayant échoué. Le système effectue automatiquement des nouvelles tentatives en cas d'échec. Si les nouvelles tentatives dépassent ce délai d'expiration ou le nombre maximal de tentatives, le statut de l'instance passe à Échec. Vous pouvez alors relancer manuellement l'opération en fonction de la cause de l'échec. Pour plus d'informations, consultez la rubrique Relancer une instance de tâche SQL planifiée.
      Delay Task	Durée du délai d'exécution après l'heure planifiée, exprimée en secondes. La valeur doit être un entier compris entre 0 et 120. Définissez un délai pour garantir l'exhaustivité des données lorsque l'ingestion dans le Metricstore accuse un retard.

      Après avoir créé la tâche SQL planifiée, vous pouvez consulter les résultats d'exécution dans le Metricstore de destination.

Exemples SDK

Créer une tâche SQL planifiée