Simple Log Service:Répliquer et distribuer les données

Cas d'utilisation

Une entreprise d'analyse de données doit répliquer chaque entrée de journal d'un Logstore source et la distribuer vers deux Logstores de destination selon le contenu. La transformation utilise e_set pour étiqueter chaque journal, e_split pour diviser les journaux par étiquette, et e_output pour acheminer les journaux vers les Logstores correspondants. Avant de commencer :

• Planifiez la capacité des projets de destination (target-a et target-b), y compris le nombre de shards. Consultez le Guide de performance.

• Créez les ressources de destination : le projet target-a avec Logstore-a, et le projet target-b avec Logstore-b. Pour plus d'informations, consultez les rubriques Gérer les projets et Gérer un Logstore.

Procédure

1. Connectez-vous à la console Simple Log Service.

2. Dans la section Projets, cliquez sur celui que vous souhaitez utiliser.

   

3. Sous l'onglet Log Storage > Logstores, cliquez sur le Logstore souhaité.

   

4. Sur la page de requête et d'analyse, cliquez sur Data Transformation pour accéder au mode de transformation des données.

5. Dans l'éditeur Data Transformation, saisissez le script de transformation suivant.

   e_set("tags", "target-a,target-b")
   e_split("tags")
   e_if(op_eq(v("tags"), "target-a"), e_output("target-a"))
   e_if(op_eq(v("tags"), "target-b"), e_output("target-b"))
   e_drop()

   • e_set ajoute les tags target-a et target-b à chaque journal brut. Pour plus de détails, consultez la rubrique e_set.

   • e_split divise les journaux en plusieurs entrées en fonction des tags. Voir e_split.

   • e_output distribue les journaux vers les destinations target-a et target-b. Reportez-vous à e_output.

   • e_drop() ignore les journaux non correspondants afin d'éviter toute distribution involontaire. Consultez e_drop.

6. Cliquez sur Preview Data.

   Chaque journal original est divisé en entrées étiquetées. Les journaux portant le tag target-a sont acheminés vers la destination target-a, tandis que ceux portant le tag target-b sont envoyés vers la destination target-b.

7. Cliquez sur Save as Transformation Job.

8. Dans le panneau Create Data Transformation Job, configurez les paramètres suivants.

   1. Configurez les informations de base.

      Parameter	Description
      Job name	Saisissez test.
      Authorization method	Autorise l'accès en lecture au Logstore source. Sélectionnez Default Role.

   2. Configurez la destination de stockage pour target-a.

      Parameter	Description
      Destination name	Saisissez target-a.
      Destination region	Sélectionnez China (Hangzhou).
      Destination project	Saisissez target-a.
      Target store	Saisissez LogStore-a.
      Authorization method	Autorise l'accès en écriture à la destination target-a. Sélectionnez Default Role.

   3. Configurez la destination de stockage pour target-b.

      Parameter	Description
      Destination name	Saisissez target-b.
      Destination region	Sélectionnez China (Hangzhou).
      Destination project	Saisissez target-b.
      Target store	Saisissez LogStore-b.
      Authorization method	Autorise l'accès en écriture à la destination target-b. Sélectionnez Default Role.

   4. Configurez la plage de temps de traitement.

      Parameter	Description
      Time range	Sélectionnez All pour traiter les données en continu à partir de l'heure de début.

9. Cliquez sur OK.

Résultats

• Ouvrez le projet target-a. Sous l'onglet Log Storage > Logstores, sélectionnez Logstore-a pour afficher les données distribuées.

• Ouvrez le projet target-b. Sous l'onglet Log Storage > Logstores, sélectionnez Logstore-b pour afficher les données distribuées.