快速预览的操作步骤及示例 - Simple Log Service - Centre de documentation Alibaba Cloud

La fonctionnalité d'aperçu rapide vous permet de vérifier gratuitement les instructions de traitement des données et de consulter les résultats. Cette rubrique décrit la procédure d'utilisation de cette fonctionnalité et fournit un exemple.

Prérequis

Les données ont été collectées. Pour plus d'informations, consultez la section Collecte de données.

Procédure

Connectez-vous à la console Simple Log Service.
Accédez à la page de transformation des données.
1. Dans la section Projects, cliquez sur le projet souhaité.
2. Sous l'onglet Log Storage > Logstores, cliquez sur le logstore souhaité.
3. Sur la page de requête et d'analyse, cliquez sur Data Transformation.
Dans le coin supérieur droit, sélectionnez une plage de temps pour les données.

Assurez-vous que les journaux s'affichent sous l'onglet Raw Logs après avoir sélectionné la plage de temps.
Dans l'éditeur, saisissez l'instruction de traitement des données.

Pour plus d'informations sur la syntaxe, consultez la section Syntaxe de traitement des données.

Remarque
L'éditeur prend en charge les commentaires dans les instructions de traitement des données. Vous pouvez utiliser cette fonctionnalité pour déboguer votre code ligne par ligne.
Prévisualisez les données.
1. Dans le coin supérieur droit de la page, cliquez sur Quick.
2. En bas de la page, cliquez sur Test Data.
3. Sous l'onglet Test Data, saisissez les données de test.
  Les données de test incluent les données de base et les données de table de dimension.
```
{
  "time_local": "25/May/2020:01:56:22",
  "user agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.xxx) Safari/534.18",
  "request:method": "GET",
  "remote user": "john"
}
```
  - Sous l'onglet Data, configurez les données de test.
    
    Sous l'onglet Raw Logs, recherchez une entrée de journal et cliquez sur Add Test Data pour l'ajouter en tant qu'exemple. Vous pouvez également saisir manuellement les données de test.
    Remarque
    
    La taille des données de test pour un seul aperçu ne peut pas dépasser 1 Mo.
    
    Séparez plusieurs entrées de données de test par une ligne vide.
    
    Pour les valeurs de champ qui s'étendent sur plusieurs lignes, encadrez la valeur avec trois accents graves () afin qu'elle soit analysée comme un seul champ.
    
    Sous l'onglet Data, les données de test peuvent être au format clé-valeur (KV) ou JSON. Au format KV, utilisez deux-points (:) pour séparer une clé de sa valeur.
    - Exemple 1 : Cet échantillon contient deux entrées de test. La première est au format KV et comprend un champ traceback multiligne. La seconde est au format JSON.
      
      time_local: 25/May/2020:01:56:22 user agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18 "request:method": GET traceback: Traceback (most recent call last): File "traceback_print_exc.py", line 20, in <module> produce_exception() File "/home/user/code/test.py", line 16, in produce_exception produce_exception(recursion_level-1) File "/home/user/code/test.py", line 18, in produce_exception raise RuntimeError() RuntimeError { "time_local": "25/May/2020:01:56:22", "user agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18", "request:method": "GET", "remote user": "john" }
    - Exemple 2 : Un seul tableau JSON contenant trois entrées de données de test.
      
      [ { "time_local": "25/May/2020:01:56:22", "user agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18", "request:method": "GET", "remote user": "john" }, { "time_local": "25/May/2020:01:56:22", "user agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18", "request:method": "GET", "remote user": "john" }, { "time_local": "25/May/2020:01:56:22", "user agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18", "request:method": "GET", "remote user": "john" } ]
  - Sous l'onglet Dimension Table, configurez les données de test.
    
    Une table de dimension fournit des exemples de données pour les fonctions de ressource, qui enrichissent vos journaux avec des données externes. Cela vous permet de tester et de déboguer ces fonctions lors de l'aperçu.
    
    Remarque
    Sous l'onglet Dimension Table, l'échantillon de données pour les données de test doit être au format CSV pour les fonctions de ressource res_rds_mysql ou res_log_LogStore_pull, mais peut être au format CSV ou JSON pour les fonctions de ressource res_oss_file ou res_local.
    
    Exemple : L'échantillon suivant contient deux entrées de données de test. La première est au format CSV et la seconde au format JSON.
    ip,country,province 127.0.0.1,China,Shanghai 192.168.0.0,China,Zhejiang [ { "ip": "127.0.0.1", "country": "China", "province": "Shanghai" }, { "ip": "192.168.0.0", "country": "China", "province": "Zhejiang" } ]
4. Cliquez sur Preview Data.
  
  Remarque
  Chaque aperçu renvoie jusqu'à 100 résultats de traitement.
  Vous pouvez ensuite consulter les résultats sous l'onglet Transformation Results.
  - Si le traitement des données échoue en raison d'une instruction non valide ou d'autorisations incorrectes, suivez les instructions affichées à l'écran pour résoudre le problème.
  - Si les résultats du traitement sont conformes aux attentes, vous pouvez créer une tâche de transformation des données pour appliquer l'instruction. Pour plus d'informations, consultez la section Créer une tâche de transformation des données.

Exemple d'aperçu rapide

Instruction de traitement des données

Dans l'éditeur, saisissez l'instruction de traitement des données suivante.

# e_set("insert_field", "test_value")
e_table_map(
    res_rds_mysql(
        address="rm-uf6wjk5****.mysql.rds.aliyuncs.com",
        username="test_username",
        password="****",
        database="test_db",
        table="test_table",
    ),
    "ip",
    ["country", "province"],
)

Données de test

Sous l'onglet Test Data > Data, saisissez le contenu suivant.
```
{
    "id": "1001", 
    "ip": "127.0.0.1"
}
```
Données de table de dimension

Sous l'onglet Test Data > Dimension Table, saisissez le contenu suivant.
```
ip,country,province
127.0.0.1,China,Shanghai
192.168.0.0,China,Zhejiang
```
Résultat de l'aperçu

Cliquez sur Preview Data. Sous l'onglet Transformation Results, la sortie pour target0 affiche les champs suivants : id:1001, ip:127.0.0.1, country:China et province:Shanghai. Cela indique que la table de dimension a correctement enrichi le journal avec les champs country et province. Le champ summary of run results affiche Total: 1, Succeeded: 1, Failed: 0.