Simple Log Service:Cara menangani LogStore tujuan kosong setelah transformasi data?

Skenario 1: Target penyimpanan dalam pernyataan transformasi berbeda dari yang dikonfigurasi pada halaman Create Data Transformation Job

LogStore bernama website_log berisi 5.000 entri log: 1.000 dengan SourceIP 192.0.2.54, 1.000 dengan SourceIP 192.0.2.28, 1.000 dengan SourceIP 192.0.2.136, dan 2.000 dengan nilai SourceIP lainnya. Entri-entri tersebut kini diproses dan didistribusikan ke LogStore target berikut: 54_log_target, 28_log_target, dan 136_log_target.

• Persyaratan Pemrosesan

  • Distribusikan log dengan SourceIP 192.0.2.54 ke LogStore bernama 54_log_target.

  • Distribusikan log dengan SourceIP 192.0.2.28 ke LogStore bernama 28_log_target.

  • Distribusikan log dengan SourceIP 192.0.2.136 ke LogStore bernama 136_log_target.

  • Buang semua log yang tidak memenuhi kondisi tersebut.

• Pernyataan transformasi

  Tiga nama LogStore target yang digunakan dalam pernyataan tersebut adalah 54_log, 28_log, dan 136_log.

  e_if(e_search("SourceIP==192.0.2.54"),    
    e_output(name="54-target",
               project="sls-test",
               logstore="54_log"))
  e_if(e_search("SourceIP==192.0.2.28"),
      e_output(name="28-target",
               project="sls-test",
               logstore="28_log"))
  e_if(e_search("SourceIP==192.0.2.136"),
      e_output(name="136-target",
               project="sls-test",
               logstore="136_log"))
  e_drop()

• Target penyimpanan

  LogStore tujuan aktual adalah 54_log_target, 28_log_target, dan 136_log_target.

  Tiga target penyimpanan tersebut diberi nama 54_target, 28_target, dan 136_target. Semuanya menggunakan wilayah China (Chengdu), proyek sls-test, dan metode otorisasi default role.

• Hasil transformasi

  LogStore bernama 54_log_target, 28_log_target, dan 136_log_target tidak berisi data.

• Akar penyebab

  Dalam parameter project (nama proyek tujuan) dan logstore (nama logstore tujuan) fungsi e_output dalam pernyataan transformasi, Anda menentukan nilai yang berbeda dari yang diatur untuk Destination Project dan Destination Database di panel Create Data Transformation Task. Dalam kasus ini, destinasi penyimpanan yang ditentukan dalam pernyataan transformasi memiliki prioritas lebih tinggi.

  Akibatnya, hasil pemrosesan data didistribusikan ke tiga LogStore yang ditentukan dalam pernyataan pemrosesan data: 54_log, 28_log, dan 136_log.

• Solusi

  • Jika Anda hanya mengonfigurasi parameter name dalam fungsi e_output atau e_coutput, output akan dikirim ke target penyimpanan yang ditentukan di panel Create Data Transformation Job.

  • Jika Anda menentukan parameter Project dan LogStore dalam e_output atau e_coutput, nilainya harus persis sesuai dengan target penyimpanan yang dikonfigurasi di panel Create Data Transformation Job. Untuk informasi selengkapnya, lihat e_outputLogStoreut.

    Catatan

    Ketika Anda menentukan pernyataan transformasi dengan beberapa target penyimpanan tetapi tidak menyertakan pernyataan e_drop(), semua log yang telah diproses namun tidak sesuai dengan kondisi apa pun—dan tidak dibuang—akan dikirim ke target penyimpanan pertama.

    e_if(e_search("SourceIP==192.0.2.54"),    
      e_output(name="54-target",
                 project="sls-test",
                 logstore="54_log_target"))
    e_if(e_search("SourceIP==192.0.2.28"),
        e_output(name="28-target",
                 project="sls-test",
                 logstore="28_log_target"))
    e_if(e_search("SourceIP==192.0.2.136"),
        e_output(name="136-target",
                 project="sls-test",
                 logstore="136_log_target"))
    e_drop()

Skenario 2: Tidak ada pernyataan transformasi yang diatur, atau hanya pernyataan e_drop() yang digunakan

• Pernyataan transformasi

  Tidak ada

• Target penyimpanan: Skenario ini mengonfigurasi dua target penyimpanan: Target penyimpanan 1 (54-target) memiliki database tujuan 54_log_target, dan Target penyimpanan 2 (28-target) memiliki database tujuan 28_log_target. Keduanya berada di Proyek sls-test, dengan metode otorisasi diatur ke default role.

• Hasil transformasi

  Hanya LogStore bernama 54_log_target yang berisi data.

• Akar penyebab

  • Tidak ada pernyataan transformasi yang dikonfigurasi di halaman transformasi data, tetapi di panel Create Data Transformation Task:

    • Jika Anda mengonfigurasi satu target penyimpanan, data dari LogStore sumber akan disalin ke target tersebut.

    • Jika Anda mengonfigurasi beberapa target penyimpanan, semua data hanya dikirim ke LogStore milik target penyimpanan 1 dan tidak diteruskan ke target lainnya.

  • Jika Anda hanya menentukan pernyataan e_drop(), semua data log akan dibuang, dan LogStore tujuan tetap kosong.

Skenario 3: penundaan pemrosesan

Jika pekerjaan transformasi Anda dikonfigurasi dengan benar tetapi LogStore tujuan tetap tidak menampilkan data, masalah tersebut mungkin disebabkan oleh penundaan transformasi.