Simple Log Service:Replikasi dan distribusi data

Kasus penggunaan

Sebuah perusahaan analitik data mereplikasi setiap entri log di Logstore sumber dan mendistribusikannya ke dua Logstore berdasarkan kontennya. Transformasi ini menggunakan e_set untuk memberi tag pada setiap log, e_split untuk memisahkan log berdasarkan tag, dan e_output untuk mengarahkan log ke Logstore yang berbeda. Gambar berikut menunjukkan alur kerja ini. Sebelum memulai:

• Kapasitas Proyek tujuan (target-a dan target-b) telah direncanakan, termasuk Jumlah Shard. Panduan kinerja.

• Sumber daya tujuan telah dibuat: Proyek target-a dengan Logstore-a dan Proyek target-b dengan Logstore-b. Manage Projects, Manage a Logstore.

Prosedur

1. Masuk ke Konsol Simple Log Service.

2. Di bagian Projects, klik Proyek yang Anda inginkan.

   

3. Di tab Log Storage > Logstores, klik logstore yang Anda inginkan.

   

4. Di halaman kueri dan analisis, klik Data Transformation untuk masuk ke mode transformasi data.

5. Di editor Data Transformation, masukkan skrip transformasi berikut.

   e_set("tags", "target-a,target-b")
   e_split("tags")
   e_if(op_eq(v("tags"), "target-a"), e_output("target-a"))
   e_if(op_eq(v("tags"), "target-b"), e_output("target-b"))
   e_drop()

   • e_set menambahkan tag target-a dan target-b ke setiap log mentah. e_set.

   • e_split memisahkan log menjadi beberapa entri berdasarkan tag. e_split.

   • e_output mendistribusikan log ke tujuan target-a dan target-b. e_output.

   • e_drop() membuang log yang tidak cocok untuk mencegah distribusi yang tidak diinginkan. e_drop.

6. Klik Preview Data.

   Log asli dipisah menjadi entri yang diberi tag. Log yang ditandai target-a dikirim ke tujuan target-a, dan log yang ditandai target-b dikirim ke tujuan target-b.

7. Klik Save as Transformation Job.

8. Di panel Create Data Transformation Job, konfigurasikan parameter berikut.

   1. Konfigurasikan informasi dasar.

      Parameter	Deskripsi
      Job name	Masukkan test.
      Authorization method	Izin untuk membaca dari Logstore sumber. Pilih Default Role.

   2. Konfigurasikan tujuan penyimpanan untuk target-a.

      Parameter	Deskripsi
      Destination name	Masukkan target-a.
      Destination region	Pilih China (Hangzhou).
      Destination project	Masukkan target-a.
      Target store	Masukkan LogStore-a.
      Authorization method	Izin untuk menulis ke tujuan target-a. Pilih Default Role.

   3. Konfigurasikan tujuan penyimpanan untuk target-b.

      Parameter	Deskripsi
      Destination name	Masukkan target-b.
      Destination region	Pilih China (Hangzhou).
      Destination project	Masukkan target-b.
      Target store	Masukkan LogStore-b.
      Authorization method	Izin untuk menulis ke tujuan target-b. Pilih Default Role.

   4. Konfigurasikan rentang waktu pemrosesan.

      Parameter	Deskripsi
      Time range	Pilih All untuk memproses data secara terus-menerus sejak Waktu mulai.

9. Klik OK.