Simple Log Service:Créer une tâche de transformation de données

Prérequis

• Les données sont collectées dans Simple Log Service. Pour plus d'informations, consultez la rubrique Collecte de données.

• Si vous utilisez un utilisateur RAM, assurez-vous de disposer des autorisations nécessaires pour la transformation de données. Pour en savoir plus, reportez-vous à la section Accorder des autorisations de transformation de données à un utilisateur RAM.

Procédure

1. Connectez-vous à la console Simple Log Service.

2. Accédez à la page de transformation de données.

   1. Dans la section Projects, cliquez sur le projet souhaité.

   2. Sous l'onglet Log Storage > Logstores, sélectionnez le Logstore concerné.

   3. Sur la page d'interrogation et d'analyse, cliquez sur Data Transformation.

3. Dans le coin supérieur droit, spécifiez une plage de temps pour les données.

   Vérifiez que les journaux s'affichent bien sous l'onglet Raw Logs après avoir défini la période.

4. Saisissez une instruction de transformation de données dans l'éditeur.

   Pour obtenir des détails sur la syntaxe des instructions, consultez la documentation relative à la Syntaxe de transformation de données.

5. Prévisualisez les données.

   1. Cliquez sur Quick.

      Simple Log Service propose deux modes de prévisualisation : Quick et Advanced. Pour plus de détails, voir la rubrique Prévisualiser et déboguer les données.

   2. Cliquez sur Preview Data.

      Consultez les résultats de la prévisualisation.

      • En cas d'échec de la transformation dû à une erreur de syntaxe ou à des problèmes d'autorisation, suivez les indications affichées à l'écran pour résoudre le problème.

      • Si les résultats sont conformes à vos attentes, passez à l'étape 6.

6. Créez la tâche de transformation de données.

   1. Cliquez sur Save as Transformation Job (Old Version).

   2. Dans le panneau Create Data Transformation Job, configurez les paramètres suivants, puis cliquez sur OK.

      Parameter	Description
      Job name	Nom de la tâche de transformation de données.
      Display name	Nom d'affichage de la tâche de transformation de données.
      Job description	Description de la tâche de transformation de données.
      Authorization method	Méthode d'autorisation utilisée pour lire les données du Logstore source. Default Role : la tâche utilise le rôle système AliyunLogETLRole pour lire les données du Logstore source. Custom Role : la tâche utilise un rôle personnalisé pour lire les données du Logstore source. Vous devez d'abord accorder au rôle personnalisé les autorisations de lecture sur le Logstore source. Ensuite, saisissez l'ARN du rôle personnalisé dans le champ Role ARN. Pour plus d'informations, consultez la rubrique Utiliser un rôle personnalisé pour accéder aux données.
      Storage destination
      Destination name	Nom de la destination de stockage. Une destination inclut des configurations telles que le projet et le Logstore. Il est possible de créer plusieurs destinations afin de stocker les résultats de transformation dans différents Logstores. Tenez compte des points suivants : Utilisez le paramètre name dans la fonction e_output() ou e_coutput() de votre instruction de transformation pour définir le Destination name. Pour en savoir plus, voir e_output. Si l'instruction de transformation ne contient pas la fonction e_output(), la tâche écrit par défaut les résultats dans le premier Logstore de destination configuré. Lorsqu'un seul Logstore de destination est défini, l'utilisation de la fonction e_output() n'est généralement pas nécessaire. Si vous spécifiez les paramètres name, project et logstore dans la fonction e_output() ou e_coutput(), ces paramètres remplacent les configurations Destination project et Destination logstore définies dans l'interface utilisateur.
      Destination region	Région du projet de destination. La transformation de données inter-régions utilise le protocole HTTPS afin de garantir la confidentialité des données. Ce type de transformation transite par Internet public, ce qui peut engendrer une latence due à l'instabilité du réseau. Cochez la case DCDN Acceleration pour accélérer le transfert inter-régional. Avant d'utiliser cette fonctionnalité, assurez-vous que l'accélération est activée pour le projet correspondant. Consultez la rubrique Accélérer la collecte de journaux pour plus de détails. Remarque La transformation de données inter-régions est facturée en fonction du trafic sortant vers Internet (après compression). Pour en savoir plus, reportez-vous à la section Facturation par fonctionnalité.
      Destination project	Projet dans lequel sont stockées les données transformées.
      Destination logstore	Logstore contenant les résultats de la transformation. Avertissement Ne définissez pas le Logstore de destination identique au Logstore source. Cette configuration incorrecte provoque une boucle infinie de données et entraîne des coûts de stockage et de trafic supplémentaires. Vous êtes responsable des frais générés par cette erreur.
      Authorization method	Méthode d'autorisation utilisée pour écrire les données dans le Logstore de destination. Default Role : la tâche utilise le rôle système AliyunLogETLRole pour écrire les résultats dans le Logstore de destination. Custom Role : la tâche utilise un rôle personnalisé pour écrire les résultats dans le Logstore de destination. Vous devez d'abord accorder au rôle personnalisé les autorisations d'écriture sur le Logstore de destination. Ensuite, saisissez l'ARN du rôle personnalisé dans le champ Role ARN. Pour plus d'informations, consultez la rubrique Utiliser un rôle personnalisé pour accéder aux données.
      Processing scope
      Time range	Plage de temps des données à transformer. Remarque Cette plage temporelle se base sur l'heure de réception des journaux par le service. All : traite tous les journaux depuis le point temporel le plus ancien disponible dans le Logstore jusqu'à l'arrêt manuel de la tâche. From Specific Time : traite les journaux à partir d'une heure de début spécifiée jusqu'à l'arrêt manuel de la tâche. Specific Time Range : traite les journaux compris dans une plage horaire définie. La tâche s'arrête automatiquement une fois la fin de la plage atteinte.
      Advanced options
      Advanced parameter configuration	Pour les informations sensibles, telles que les mots de passe de base de données utilisés dans les instructions de transformation, enregistrez-les sous forme de paires clé-valeur dans un secret et référencez-les dans l'instruction via res_local("key"). Cliquez sur + pour ajouter plusieurs paires clé-valeur. Par exemple, config.vpc.vpc_id.test1:vpc-uf6mskb0b****n9yj peut représenter l'ID du VPC où se trouve une instance RDS.

Étapes suivantes

Une fois la tâche de transformation de données créée, vous pouvez :

• Consulter les détails de la tâche, la modifier ou l'arrêter depuis la page Data Transformation Overview. Pour en savoir plus, reportez-vous à la rubrique Gérer les tâches de transformation de données.

• Interroger et analyser les données présentes dans le Logstore de destination. Consultez la section Premiers pas avec l'interrogation et l'analyse pour plus d'informations.