Simple Log Service:Créer une tâche de transformation de données (nouvelle version)

Prérequis

• Les données sont collectées dans SLS. Présentation de la collecte de données.

• Si vous utilisez un utilisateur RAM, accordez-lui les autorisations de transformation des données. Autoriser un utilisateur RAM à effectuer des opérations de transformation de données.

Procédure

1. Connectez-vous à la console Simple Log Service.

2. Accédez à la page de transformation des données.

   1. Dans la section Projects, cliquez sur le projet souhaité.

   2. Sous l'onglet Log Storage > Logstores, cliquez sur le logstore souhaité.

   3. Sur la page d'interrogation et d'analyse, cliquez sur Data Transformation.

3. Dans le coin supérieur droit de la page, sélectionnez une plage de temps.

   Une fois la plage de temps sélectionnée, vérifiez que les journaux s'affichent sous l'onglet Raw Logs.

4. Dans l'éditeur, saisissez une instruction SPL.

   Pour plus d'informations sur la syntaxe SPL, consultez la rubrique Syntaxe SPL.

5. Prévisualisez les données.

   • Sous l'onglet Raw Data, cliquez sur Add Test Data. Vous pouvez également saisir manuellement des données de test sous l'onglet Test Data.

6. Créez une tâche de transformation de données.

   1. Cliquez sur Save as Transformation Job (New Version).

   2. Dans le panneau Create Data Transformation Job (New Version), configurez les paramètres suivants, puis cliquez sur OK.

   Paramètre	Description
   Task Name	Nom de la tâche de transformation de données.
   Display Name	Nom d'affichage de la tâche.
   Job Description	Description de la tâche.
   Authorization Method	Accordez à la tâche un accès en lecture au logstore source à l'aide de l'une des méthodes suivantes : Default Role : la tâche endosse le rôle système AliyunLogETLRole pour lire les données du logstore source. Cliquez sur Autoriser le rôle système AliyunLogETLRole et suivez les instructions pour finaliser l'autorisation. Pour plus d'informations, consultez la rubrique Accéder aux données à l'aide d'un rôle par défaut. Important Si vous utilisez un utilisateur RAM, un compte Alibaba Cloud doit d'abord effectuer l'autorisation. Si votre compte Alibaba Cloud est déjà autorisé, ignorez cette étape. Custom Role : la tâche endosse un rôle personnalisé pour lire les données du logstore source. Accordez d'abord au rôle personnalisé les autorisations de lecture des données du logstore source, puis saisissez l'ARN du rôle dans le champ Role ARN. Pour plus d'informations, consultez la rubrique Accéder aux données à l'aide d'un rôle personnalisé. AccessKey : pour des raisons de sécurité, vous ne pouvez plus utiliser de paire AccessKey (AK/SK) pour créer des tâches.
   Storage Destination
   Destination Name	Nom de la destination de stockage. Inclut des configurations telles que le Project et le logstore.
   Destination Region	Région dans laquelle se trouve le Project de destination.
   Destination Project	Project de destination pour les résultats de la transformation. Un Project spécifié dans votre instruction SPL remplace ce paramètre. Sortie dynamique vers un Project/logstore de destination. Important Le Project que vous spécifiez dynamiquement dans l'instruction SPL doit correspondre à la région et à l'autorisation configurées ici.
   Target Store	Logstore de destination pour les résultats de la transformation. Un logstore spécifié dans votre instruction SPL remplace ce paramètre. Sortie dynamique vers un Project/logstore de destination. Important Le logstore que vous spécifiez dynamiquement dans l'instruction SPL doit correspondre à la région, à l'autorisation et au Project configurés ici. Le logstore de destination ne peut pas être identique au logstore source. Avertissement Ne configurez pas le magasin de destination comme étant le magasin source actuel (configuration même source). Sinon, les journaux risquent d'être écrits en boucle, ce qui engendre des coûts de stockage et de trafic supplémentaires. Vous êtes responsable de la consommation de ressources et des coûts engagés.
   Authorization Method	Accordez à la tâche un accès en écriture au logstore de destination à l'aide de l'une des méthodes suivantes : Default Role : la tâche endosse le rôle système AliyunLogETLRole pour écrire les résultats dans le logstore de destination. Cliquez sur Autoriser le rôle système AliyunLogETLRole et suivez les instructions pour finaliser l'autorisation. Pour plus d'informations, consultez la rubrique Accéder aux données à l'aide d'un rôle par défaut. Important Si vous utilisez un utilisateur RAM, un compte Alibaba Cloud doit d'abord effectuer l'autorisation. Si votre compte Alibaba Cloud est déjà autorisé, ignorez cette étape. Custom Role : la tâche endosse un rôle personnalisé pour écrire les résultats dans le logstore de destination. Accordez d'abord au rôle personnalisé les autorisations d'écriture des données dans le logstore de destination, puis saisissez l'ARN du rôle dans le champ Role ARN. Pour plus d'informations, consultez la rubrique Accéder aux données à l'aide d'un rôle personnalisé. AccessKey : pour des raisons de sécurité, vous ne pouvez plus utiliser de paire AccessKey (AK/SK) pour créer des tâches.
   Write to Result Set	Ensemble de données à écrire dans le logstore de destination. Plusieurs ensembles de données peuvent cibler une même destination, et plusieurs destinations peuvent partager un ensemble de données. Description de l'ensemble de données.
   Portée du traitement
   Time Range (Heure de réception des données)	Plage de temps pour la tâche : All : traite toutes les données depuis la première entrée de journal jusqu'à l'arrêt manuel. From Specific Time : traite les données à partir de l'heure de début spécifiée jusqu'à l'arrêt manuel. Specific Time Range : traite les données dans la fenêtre de temps spécifiée et s'arrête automatiquement à l'heure de fin.
   Advanced Options
   Advanced Parameter Settings	Stockez les informations sensibles (telles que les mots de passe de base de données) sous forme de paires clé-valeur, et référencez-les dans votre instruction à l'aide de res_local("key"). Cliquez sur + pour ajouter plusieurs paires clé-valeur. Par exemple, config.vpc.vpc_id.test1:vpc-uf6mskb0b****n9yj spécifie l'ID du VPC où réside l'instance RDS.

Étapes suivantes

Une fois la tâche créée :

• Consultez, modifiez ou arrêtez les tâches sur la page Data Transformation Overview. Gérer les tâches de transformation de données (nouvelle version).

• Interrogez et analysez les données dans le logstore de destination. Démarrage rapide pour l'interrogation et l'analyse.