Simple Log Service:Apa yang Harus Saya Lakukan Jika Logstore Tujuan Tidak Berisi Data?

Skenario 1: Destinasi penyimpanan yang ditentukan dalam pernyataan transformasi tidak konsisten dengan destinasi penyimpanan yang ditentukan di panel Create Data Transformation Job

Logstore website_log berisi 5.000 log. Secara spesifik, 1.000 log memiliki SourceIP bernilai 192.0.2.54, 1.000 log memiliki SourceIP bernilai 192.0.2.28, 1.000 log memiliki SourceIP bernilai 192.0.2.136, dan 2.000 log memiliki nilai SourceIP lainnya. Anda ingin mentransformasi data ini dan mendistribusikannya ke Logstore tujuan yang berbeda: 54_log_target, 28_log_target, dan 136_log_target.

• Persyaratan pemrosesan

  • Distribusikan log dengan SourceIP bernilai 192.0.2.54 ke Logstore 54_log_target.

  • Distribusikan log dengan SourceIP bernilai 192.0.2.28 ke Logstore 28_log_target.

  • Distribusikan log dengan SourceIP bernilai 192.0.2.136 ke Logstore 136_log_target.

  • Anda dapat membuang data apa pun yang tidak memenuhi kondisi pemrosesan.

• Pernyataan transformasi

  Tiga Logstore tujuan diberi nama 54_log, 28_log, dan 136_log.

  e_if(e_search("SourceIP==192.0.2.54"),    
    e_output(name="54-target",
               project="sls-test",
               logstore="54_log"))
  e_if(e_search("SourceIP==192.0.2.28"),
      e_output(name="28-target",
               project="sls-test",
               logstore="28_log"))
  e_if(e_search("SourceIP==192.0.2.136"),
      e_output(name="136-target",
               project="sls-test",
               logstore="136_log"))
  e_drop()

• Destinasi penyimpanan

  Tiga Logstore tujuan adalah 54_log_target, 28_log_target, dan 136_log_target.

  

• Hasil transformasi

  Logstore 54_log_target, 28_log_target, dan 136_log_target tidak berisi data.

• Analisis penyebab

  Parameter project (nama Proyek tujuan) dan logstore (nama penyimpanan log tujuan) diatur dalam fungsi `e_output` pada pernyataan transformasi. Namun, nilai yang berbeda untuk Destination Project dan Destination Logstore dikonfigurasi pada halaman Create Data Transformation Job. Tujuan yang ditentukan dalam pernyataan transformasi memiliki prioritas lebih tinggi.

  Artinya, dalam skenario ini, hasil transformasi didistribusikan ke tiga Logstore yang ditentukan dalam pernyataan transformasi: 54_log, 28_log, dan 136_log.

• Solusi

  • Jika Anda menggunakan fungsi e_output atau e_coutput dan hanya mengonfigurasi parameter name, hasil transformasi akan didistribusikan ke destinasi penyimpanan yang ditentukan di panel Create Data Transformation Job.

  • Jika Anda mengonfigurasi parameter project dan parameter logstore dalam fungsi e_output dan e_coutput, parameter tersebut harus sesuai dengan destinasi penyimpanan yang dikonfigurasi di panel Create Data Transformation Task. Untuk informasi selengkapnya, lihat e_outputLogStoreut.

    Catatan

    Jika fungsi e_drop() tidak disertakan dalam pernyataan transformasi dan beberapa destinasi penyimpanan ditentukan dalam pernyataan tersebut, sistem akan mendistribusikan semua log yang tidak memenuhi kondisi dalam pernyataan dan tidak dibuang ke Logstore tujuan pada destinasi penyimpanan bernomor 1.

    e_if(e_search("SourceIP==192.0.2.54"),    
      e_output(name="54-target",
                 project="sls-test",
                 logstore="54_log_target"))
    e_if(e_search("SourceIP==192.0.2.28"),
        e_output(name="28-target",
                 project="sls-test",
                 logstore="28_log_target"))
    e_if(e_search("SourceIP==192.0.2.136"),
        e_output(name="136-target",
                 project="sls-test",
                 logstore="136_log_target"))
    e_drop()

Skenario 2: Tidak ada pernyataan transformasi yang ditentukan atau pernyataan transformasi yang ditentukan hanya berisi fungsi e_drop()

• Pernyataan transformasi

  Tidak ada

• Destinasi penyimpanan

• Hasil transformasi

  Hanya Logstore 54_log_target yang berisi data.

• Analisis penyebab

  • Tidak ada pernyataan transformasi yang ditentukan di halaman transformasi data. Namun, operasi berikut dilakukan di panel Create Data Transformation Job:

    • Jika Anda menetapkan satu destinasi, data dari Logstore sumber disalin ke Logstore tujuan.

    • Jika Anda menetapkan beberapa destinasi, semua data hanya didistribusikan ke Logstore tujuan pertama dan tidak diteruskan ke Logstore lainnya.

  • Jika Anda hanya menentukan pernyataan e_drop() di halaman transformasi data, semua data log akan dibuang, sehingga Logstore tujuan tidak berisi data.

Skenario 3: Terjadi latensi selama transformasi data

Jika Anda yakin bahwa Pekerjaan transformasi data Anda dikonfigurasi dengan benar tetapi Logstore tujuan masih tidak berisi data, penyebabnya mungkin adalah latensi transformasi data.