Simple Log Service：Replikasi dan distribusi data

Skenario

Sebuah perusahaan analitik data ingin mereplikasi semua entri log dari Logstore sumber dan mendistribusikannya ke dua Logstore tujuan. Fitur replikasi dan distribusi Simple Log Service memungkinkan perusahaan menggunakan fungsi e_set untuk menentukan tag, fungsi e_split untuk mengategorikan entri log berdasarkan tag yang ditentukan, dan fungsi e_output untuk mendistribusikan setiap kategori entri log ke Logstore tujuan sesuai dengan tagnya. Gambar berikut menunjukkan logika dasar proses tersebut. Sebelum memulai, pastikan operasi berikut telah selesai:

• Evaluasi performa dua tujuan penyimpanan bernama target-a dan target-b. Misalnya, evaluasi jumlah shard di masing-masing tujuan penyimpanan. Untuk informasi lebih lanjut, lihat Panduan Performa.

• Buat dua proyek bernama target-a dan target-b. Kemudian, buat dua Logstore bernama logstore-a dan logstore-b. Untuk informasi lebih lanjut, lihat Kelola Proyek dan Kelola Logstore.

Prosedur

1. Masuk ke Konsol Simple Log Service.

2. Di bagian Proyek, klik proyek yang ingin Anda kelola.

   

3. Pada tab Log Storage > Logstores, klik Logstore yang ingin Anda kelola.

   

4. Di pojok kiri atas halaman yang muncul, klik Data Transformation.

5. Di editor kode yang muncul, masukkan pernyataan transformasi data berikut:

   e_set("tags", "target-a,target-b")
   e_split("tags")
   e_if(op_eq(v("tags"), "target-a"), e_output("target-a"))
   e_if(op_eq(v("tags"), "target-b"), e_output("target-b"))
   e_drop()

   • Gunakan fungsi e_set untuk menentukan target-a dan target-b sebagai tag untuk entri log mentah. Untuk informasi lebih lanjut, lihat e_set.

   • Gunakan fungsi e_split untuk mengategorikan entri log mentah berdasarkan tag yang Anda tentukan. Untuk informasi lebih lanjut, lihat e_split.

   • Gunakan fungsi e_output untuk mendistribusikan entri log yang dikategorikan oleh fungsi e_split ke tujuan penyimpanan target-a dan target-b. Untuk informasi lebih lanjut, lihat e_output.

   • Gunakan fungsi e_drop() untuk menentukan kondisi. Jika entri log tidak memenuhi kondisi yang ditentukan, entri log tersebut akan dibuang dan tidak didistribusikan. Untuk informasi lebih lanjut, lihat e_drop.

6. Klik Preview Data.

   Di tab Hasil Transformasi, tag yang ditentukan ditambahkan ke entri log mentah. Entri log mentah yang berisi tag target-a didistribusikan ke tujuan penyimpanan target-a, dan entri log mentah yang berisi tag target-b didistribusikan ke tujuan penyimpanan target-b.

7. Klik Save as Transformation Job.

8. Di panel Create Data Transformation Job, konfigurasikan parameter. Tabel berikut menjelaskan parameter tersebut.

   1. Konfigurasikan parameter dasar.

      Parameter	Deskripsi
      Nama Pekerjaan	Nama pekerjaan transformasi data. Dalam contoh ini, nama pekerjaan adalah test.
      Metode Otorisasi	Metode yang digunakan untuk memberi otorisasi Simple Log Service membaca data dari Logstore sumber. Dalam contoh ini, Peran Default dipilih.

   2. Konfigurasikan parameter untuk tujuan penyimpanan target-a.

      Parameter	Deskripsi
      Nama Tujuan	Nama tujuan penyimpanan. Dalam contoh ini, nama tujuan penyimpanan adalah target-a.
      Wilayah Tujuan	Wilayah tempat proyek tujuan berada. Dalam contoh ini, Tiongkok (Hangzhou) dipilih.
      Proyek Tujuan	Nama proyek tujuan. Dalam contoh ini, nama tujuan penyimpanan adalah target-a.
      Target Store	Nama Logstore tujuan. Dalam contoh ini, nama Logstore tujuan adalah logstore-a.
      Metode Otorisasi	Metode yang digunakan untuk memberi otorisasi Simple Log Service membaca data dari dan menulis data ke target-a. Dalam contoh ini, Peran Default dipilih.

   3. Konfigurasikan parameter untuk tujuan penyimpanan target-b.

      Parameter	Deskripsi
      Nama Tujuan	Nama tujuan penyimpanan. Dalam contoh ini, nama tujuan penyimpanan adalah target-b.
      Wilayah Tujuan	Wilayah tempat proyek tujuan berada. Dalam contoh ini, Tiongkok (Hangzhou) dipilih.
      Proyek Tujuan	Nama proyek tujuan. Dalam contoh ini, nama proyek tujuan adalah target-b.
      Target Store	Nama Logstore tujuan. Dalam contoh ini, nama Logstore tujuan adalah logstore-b.
      Metode Otorisasi	Metode yang digunakan untuk memberi otorisasi Simple Log Service membaca data dari dan menulis data ke target-b. Dalam contoh ini, Peran Default dipilih.

   4. Konfigurasikan parameter di bagian Rentang Waktu untuk Transformasi Data.

      Parameter	Deskripsi
      Rentang Waktu	Rentang waktu untuk transformasi data. Jika Anda memilih Semua, Simple Log Service akan mentransformasi semua entri log di Logstore sumber.

9. Klik OK.