Simple Log Service：Apa yang harus saya lakukan jika Logstore tujuan tidak berisi data?

Skenario 1: Tujuan penyimpanan yang ditentukan dalam pernyataan transformasi tidak konsisten dengan tujuan penyimpanan yang ditentukan di panel Buat Pekerjaan Transformasi Data

Logstore sumber adalah website_log. Logstore ini berisi 1.000 log dengan SourceIP 192.0.2.54, 1.000 log dengan SourceIP 192.0.2.28, 1.000 log dengan SourceIP 192.0.2.136, dan 2.000 log dengan SourceIP lainnya. Setelah ditransformasi, log yang memenuhi kondisi tertentu didistribusikan ke Logstore tujuan berikut: 54_log_target, 28_log_target, dan 136_log_target.

• Persyaratan transformasi:

  • Distribusikan log dengan SourceIP 192.0.2.54 ke Logstore 54_log_target.

  • Distribusikan log dengan SourceIP 192.0.2.28 ke Logstore 28_log_target.

  • Distribusikan log dengan SourceIP 192.0.2.136 ke Logstore 136_log_target.

  • Buang semua log lainnya.

• Pernyataan transformasi:

  Ketiga Logstore tujuan adalah 54_log, 28_log, dan 136_log.

  e_if(e_search("SourceIP==192.0.2.54"),    
    e_output(name="54-target",
               project="sls-test",
               logstore="54_log"))
  e_if(e_search("SourceIP==192.0.2.28"),
      e_output(name="28-target",
               project="sls-test",
               logstore="28_log"))
  e_if(e_search("SourceIP==192.0.2.136"),
      e_output(name="136-target",
               project="sls-test",
               logstore="136_log"))
  e_drop()

• Tujuan penyimpanan:

  Ketiga Logstore tujuan adalah 54_log_target, 28_log_target, dan 136_log_target.

  

• Hasil transformasi:

  Logstore tujuan 54_log_target, 28_log_target, dan 136_log_target tidak berisi data.

• Penyebab:

  Parameter project (Proyek tujuan) dan logstore (Logstore tujuan) dikonfigurasi dalam fungsi `e_output` dari pernyataan transformasi. Secara terpisah, Destination Project dan Target Store dikonfigurasi di panel Create Data Transformation Job. Jika pengaturan ini bertentangan, tujuan yang ditentukan dalam pernyataan transformasi akan lebih diutamakan.

  Akibatnya, log didistribusikan ke Logstore tujuan 54_log, 28_log, dan 136_log yang ditentukan dalam pernyataan transformasi.

• Solusi:

  • Jika Anda menggunakan fungsi e_output atau e_coutput dan hanya mengonfigurasi parameter nama, hasil transformasi akan didistribusikan ke tujuan penyimpanan yang ditentukan di panel Create Data Transformation Job.

  • Jika menggunakan fungsi e_output atau e_coutput dan mengonfigurasi parameter project dan logstore, pastikan pengaturan tujuan penyimpanan dalam pernyataan transformasi konsisten dengan pengaturan di panel Create Data Transformation Job. Untuk informasi lebih lanjut, lihat e_output dan e_coutput.

    Catatan

    Jika tidak ada fungsi e_drop() dalam pernyataan transformasi dan beberapa tujuan penyimpanan ditentukan, sistem mendistribusikan semua log yang tidak memenuhi kondisi ke Logstore tujuan di tujuan penyimpanan nomor 1.

    e_if(e_search("SourceIP==192.0.2.54"),    
      e_output(name="54-target",
                 project="sls-test",
                 logstore="54_log_target"))
    e_if(e_search("SourceIP==192.0.2.28"),
        e_output(name="28-target",
                 project="sls-test",
                 logstore="28_log_target"))
    e_if(e_search("SourceIP==192.0.2.136"),
        e_output(name="136-target",
                 project="sls-test",
                 logstore="136_log_target"))
    e_drop()

Skenario 2: Tidak ada pernyataan transformasi yang ditentukan atau pernyataan transformasi yang ditentukan hanya berisi fungsi e_drop()

• Pernyataan transformasi:

  Tidak ada.

• Tujuan penyimpanan:

• Hasil transformasi:

  Hanya Logstore bernama 54_log_target yang berisi data.

• Penyebab:

  • Tidak ada pernyataan transformasi yang ditentukan di halaman transformasi data. Namun, operasi berikut dilakukan di panel Create Data Transformation Job:

    • Menentukan tujuan penyimpanan. Sistem menyalin data dari Logstore sumber ke Logstore tujuan di tujuan penyimpanan.

    • Menentukan beberapa tujuan penyimpanan. Sistem mendistribusikan semua log ke Logstore tujuan di tujuan penyimpanan nomor 1.

  • Pernyataan transformasi yang hanya berisi fungsi e_drop() ditentukan di halaman transformasi data. Sistem membuang semua log sehingga Logstore tujuan tidak berisi data.

Skenario 3: Ada latensi selama transformasi data

Jika pengaturan pekerjaan transformasi data valid tetapi Logstore tujuan tidak berisi data, kemungkinan terjadi latensi selama transformasi data.