Simple Log Service:Referensi umum

Menangani konflik nama field

Selama pengunggahan log atau eksekusi SPL, pemrosesan yang peka huruf besar/kecil dapat menyebabkan konflik nama field. Misalnya, log mentah mungkin berisi field Method dan method sekaligus. SPL menyelesaikan konflik ini secara berbeda tergantung skenarionya.

Untuk menghindari situasi ini, Anda dapat menstandarkan nama field dalam log mentah Anda.

Konflik dalam hasil output

Untuk daftar lengkap field tercadang, lihat Field tercadang. SPL membaca data dari struktur LogGroup sebagai input. Untuk informasi lebih lanjut tentang definisi LogGroup, lihat Encoding data. Jika data mentah yang ditulis ke Simple Log Service tidak di-encode dalam format LogGroup standar, beberapa field tercadang mungkin berada di LogContent alih-alih lokasi standarnya. SPL menangani field tercadang ini sebagai berikut:

• Untuk field __source__, __topic__, __time__, dan __time_ns_part__, SPL membaca nilainya dari struktur LogGroup standar dan mengabaikan field apa pun dengan nama yang sama di LogContent.

• Untuk field tag dengan awalan __tag__: , SPL pertama-tama mencoba membaca nilainya dari struktur LogGroup standar. Jika nilai tidak ditemukan, SPL membacanya dari LogContent. Misalnya, untuk field __tag__:ip, SPL pertama-tama mencoba membaca field dengan kunci ip dari daftar LogTag. Jika field tersebut tidak ada, SPL kemudian membaca field log dengan kunci __tag__:ip dari field log kustom di LogContent.

Field __line__ untuk pencarian teks penuh

Untuk memfilter log mentah di Konsol atau saat menggunakan operasi API GetLogstoreLogs, Anda dapat menggunakan field __line__.

Contoh

• Cari kata kunci error dalam log.

  * | where __line__ like '%error%'

• Jika sebuah log berisi field bernama `__line__`, sertakan nama field dalam backtick untuk mereferensikannya.

  * | where `__line__` ='20'

Tipe data lama dan baru tidak konsisten

Nilai asli field input dipertahankan.

Contoh

• Contoh 1: Field yang diganti nama dari instruksi project memiliki nama yang bertentangan.

  • Pernyataan SPL

    * 
    | extend status=cast(status as BIGINT) -- Ubah tipe field status menjadi BIGINT.
    | project code=status -- Tipe nilai baru (BIGINT) berbeda dari tipe nilai lama (VARCHAR), sehingga nilai lama dipertahankan.

  • Data input

    status: '200'
    code: 'Success'

  • Hasil output

    code: 'Success'

• Contoh 2: Field yang diekstrak dari instruksi parse-json memiliki nama yang bertentangan.

  • Pernyataan SPL

    * 
    | extend status=cast(status as BIGINT) -- Ubah tipe field status menjadi BIGINT.
    | parse-json content -- Tipe lama status adalah BIGINT dan tipe baru adalah VARCHAR. Nilai lama dipertahankan.

  • Data input

    status: '200'
    content: '{"status": "Success", "body": "this is test"}'

  • Hasil output

    content: '{"status": "Success", "body": "this is test"}'
    status: 200
    body: 'this is test'

Tipe data lama dan baru konsisten

Jika nilai input adalah null, nilai baru digunakan. Jika tidak, perilaku ditentukan oleh parameter mode dalam instruksi, sebagaimana didefinisikan dalam tabel berikut.

Contoh

• Contoh 1: Field yang diganti nama dari instruksi project memiliki nama yang bertentangan dan tipe yang sama. Mode default adalah overwrite.

  • Pernyataan SPL

  * | project code=status -- Tipe lama dan baru dari code sama-sama VARCHAR. Nilai baru digunakan berdasarkan mode overwrite.

  • Data input

    status: '200'
    code: 'Success'

  • Hasil output

    code: '200'

• Contoh 2: Field yang diekstrak dari instruksi parse-json memiliki nama yang bertentangan dan tipe yang sama. Mode default adalah overwrite.

  • Pernyataan SPL

    * | parse-json content -- Tipe lama dan baru dari status sama-sama VARCHAR. Nilai baru digunakan berdasarkan mode overwrite.

  • Data input

    status: '200'
    content: '{"status": "Success", "body": "this is test"}'

  • Hasil output

    content: '{"status": "Success", "body": "this is test"}'
    status: 'Success'
    body: 'this is test'

• Contoh 3: Field yang diekstrak dari instruksi parse-json memiliki nama yang bertentangan dan tipe yang sama. Mode diatur ke preserve.

  • Pernyataan SPL

    * | parse-json -mode='preserve' content -- Tipe lama dan baru dari status sama-sama VARCHAR. Nilai lama dipertahankan berdasarkan mode preserve.

  • Data input

    status: '200'
    content: '{"status": "Success", "body": "this is test"}'

  • Hasil output

    content: '{"status": "Success", "body": "this is test"}'
    status: '200'
    body: 'this is test'

Konversi tipe data

Tipe awal

Saat SPL memproses data, tipe data awal semua field input adalah VARCHAR, kecuali field waktu log. Jika logika pemrosesan selanjutnya melibatkan tipe data yang berbeda, Anda harus melakukan konversi tipe data.

Contoh

Untuk memfilter log akses dengan kode status 5xx, Anda harus mengonversi field status ke tipe BIGINT sebelum perbandingan.

* -- Tipe awal field status adalah VARCHAR.
| where cast(status as BIGINT) >= 500 -- Ubah tipe field status menjadi BIGINT, lalu lakukan perbandingan.

Retensi tipe

Selama pemrosesan data SPL, setelah Anda menggunakan instruksi extend untuk mengonversi tipe data suatu field, logika pemrosesan selanjutnya menggunakan tipe data yang telah dikonversi tersebut.

Contoh

* -- Logstore digunakan sebagai data input. Kecuali field waktu, semua field awalnya bertipe VARCHAR.
| where __source__='127.0.0.1' -- Filter berdasarkan field __source__.
| extend status=cast(status as BIGINT) -- Ubah tipe field status menjadi BIGINT.
| project status, content
| where status>=500 -- Tipe field status tetap BIGINT, sehingga dapat langsung dibandingkan dengan angka 500.

Menghasilkan nilai null

Selama pemrosesan data SPL, nilai null dihasilkan dalam dua skenario berikut:

1. Jika field yang digunakan dalam ekspresi SPL tidak ada dalam data input, nilainya dianggap null selama perhitungan.

2. Jika terjadi exception selama perhitungan ekspresi SPL, hasilnya adalah null. Misalnya, konversi tipe cast gagal atau indeks array di luar batas.

Contoh

1. Jika field tidak ada, nilainya dianggap null dalam perhitungan.

   • Pernyataan SPL

     * | extend withoutStatus=(status is null)

   • Data input

     # Entri 1
     status: '200'
     code: 'Success'
     
     # Entri 2
     code: 'Success'

   • Hasil output

     # Entri 1
     status: '200'
     code: 'Success'
     withoutStatus: false
     
     # Entri 2
     code: 'Success'
     withoutStatus: true

2. Jika terjadi exception selama perhitungan, hasilnya adalah null.

   • Pernyataan SPL

     *
     | extend code=cast(code as BIGINT) -- Gagal mengonversi field code ke BIGINT.
     | extend values=json_parse(values)
     | extend values=cast(values as ARRAY(BIGINT))
     | extend last=arr[10] -- Indeks array di luar batas.

   • Data input

     status: '200'
     code: 'Success'
     values: '[1,2,3]'

   • Hasil output

     status: '200'
     code: null
     values: [1, 2, 3]
     last: null

Menghilangkan nilai null

Untuk menghilangkan nilai null selama perhitungan, Anda dapat menggunakan ekspresi COALESCE. Ekspresi ini mengembalikan nilai pertama yang bukan null dari daftar ekspresi. Anda juga dapat menetapkan nilai default yang digunakan jika semua ekspresi bernilai null.

Contoh

Baca elemen terakhir dari array. Jika array kosong, nilai default-nya adalah 0.

• Pernyataan SPL

  *
  | extend values=json_parse(values)
  | extend values=cast(values as ARRAY(BIGINT))
  | extend last=COALESCE(values[3], values[2], values[1], 0)

• Data input

  # Entri 1
  values: '[1, 2, 3]'
  
  # Entri 2
  values: '[]'

• Hasil output

  # Entri 1
  values: [1, 2, 3]
  last: 3
  
  # Entri 2
  values: []
  last: 0

Tanda kutip tunggal

Tanda kutip tunggal digunakan untuk mengapit literal string. Jika literal string mengandung tanda kutip tunggal, Anda harus menggunakan tanda kutip tunggal tambahan untuk meng-escape-nya.

Tanda kutip ganda

Tanda kutip ganda digunakan untuk mengapit nama field. Jika nama field mengandung tanda kutip ganda, Anda harus menggunakan tanda kutip ganda tambahan untuk meng-escape-nya.