FAQ kueri SLS, identifikasi mesin sumber, pencarian alamat IP, kueri multi-kondisi, pemotongan field, field yang tidak diindeks - Simple Log Service

Menjawab pertanyaan umum tentang kueri log di Simple Log Service, seperti mengidentifikasi mesin sumber, mencari alamat IP, melakukan kueri dengan beberapa kondisi, dan menangani pemotongan nilai field.

Identifikasi mesin sumber suatu log

Konfigurasi Logtail diterapkan pada kelompok mesin. Jika kelompok mesin tersebut adalah kelompok mesin berbasis alamat IP, gunakan alamat IP internal untuk membedakan mesin.
Setelah Anda membuat indeks, Simple Log Service secara default mengindeks __tag__:__hostname__. Lakukan kueri dengan memasukkan __tag__:__hostname__:XXX. Field __tag__ merupakan field tereservasi. Contoh: hitung kemunculan setiap hostname.
```
* | select '__tag__:__hostname__' , count(1) as count group by '__tag__:__hostname__'
```

Cari alamat IP dalam log

Untuk melakukan kueri alamat IP tertentu:
```
__tag__:__client_ip__:192.0.2.1
```
Untuk melakukan kueri log dari alamat IP yang diawali dengan 192.0.2:
```
__source__:192.0.2.*
```
Untuk melakukan kueri log yang berisi alamat IP yang cocok dengan 192.168.XX.XX. Anda juga dapat menggunakan ekspresi reguler untuk melakukan kueri fuzzy.
```
* | select * from log where key like '192.168.%.%'
```

Lakukan kueri dengan beberapa kondisi

Gabungkan pernyataan kueri untuk memfilter dengan beberapa kondisi.

Misalnya, untuk mengecualikan log dengan status OK atau Unknown, cari dengan not OK not Unknown.

Metode kueri log

Simple Log Service mendukung tiga metode kueri log:

Lakukan kueri dan analisis log di Konsol. Panduan cepat kueri dan analisis.
Lakukan kueri log menggunakan SDK. Ikhtisar referensi SDK.
Lakukan kueri log menggunakan RESTful API. Kueri log di Logstore.

Pemecahan masalah timeout atau kegagalan analisis SQL

Firewall jaringan di sisi klien mungkin memblokir permintaan yang berisi kata kunci analisis SQL.

Coba alihkan titik akhir layanan ke HTTPS.

Pemotongan nilai field

Simple Log Service membatasi panjang nilai field sebagai berikut:

Untuk kueri, panjang maksimum nilai field adalah 512 KB (524.288 byte). Konten yang melebihi batas ini tidak disertakan dalam hasil kueri.
Untuk analisis, panjang maksimum nilai field secara default adalah 2 KB (2.048 byte), dapat dikonfigurasi hingga 16 KB (16.384 byte).

Tetapkan panjang maksimum untuk suatu field

Perubahan ini hanya berlaku untuk data log baru. Data yang sudah ada tidak terpengaruh.

Masuk ke Konsol Simple Log Service.
Pada bagian Projects, klik project yang diinginkan.
Pada tab Log Storage > Logstores, klik logstore yang diinginkan.
Klik Query & Analysis > Properties.
Di bagian bawah halaman Query & Analysis, atur Maximum Length for Statistical Fields (text) ke nilai antara 64 hingga 16.384 byte.

Analisis field yang tidak diindeks

Untuk menganalisis field yang tidak diindeks, gunakan salah satu metode berikut:

Buat atau lakukan pengindeksan ulang data
- Untuk menganalisis log baru, buat indeks untuk field target dan aktifkan statistik.
- Untuk menganalisis log historis, lakukan pengindeksan ulang data dan aktifkan statistik.
Aktifkan mode scan

Jika Anda tidak dapat membuat indeks, gunakan analisis berbasis scan untuk melakukan kueri log tanpa indeks. Scan log.

Ubah jumlah baris yang dikembalikan

Simple Log Service secara default menambahkan limit 100. Gunakan klausa LIMIT untuk mengubah jumlah baris yang dikembalikan.

Apa perbedaan antara indeks SLS dan indeks database? Apakah SLS dapat secara otomatis mengenali informasi pengguna?

Perbedaan antara indeks SLS dan indeks database

Indeks SLS dan indeks database (seperti yang ada di MySQL atau PostgreSQL) memiliki tujuan serupa tetapi berbeda dalam implementasi dan kasus penggunaannya:

Indeks SLS: Digunakan untuk mempercepat kueri dan analisis log. SLS menyediakan FullText Index untuk pencarian tokenisasi di seluruh konten dan Key/Value Index untuk pengambilan field terstruktur, mendukung pencarian kata kunci dan analisis SQL.
Indeks database: Biasanya berbasis struktur data Pohon-B (B-tree), dirancang untuk mempercepat pencarian catatan tertentu dalam tabel database. Indeks ini tidak cocok untuk pencarian teks lengkap dan analisis real-time data log berskala besar.

Apakah SLS dapat secara otomatis mengenali dan menghubungkan informasi pengguna dalam log?

SLS tidak secara otomatis mengenali atau menghubungkan informasi pengguna dalam log. Informasi pengguna harus ada sebagai field log agar SLS dapat melakukan kueri, analisis, atau pengunduhan berdasarkan field tersebut. Jika tidak ada field yang berisi informasi pengguna dalam log, SLS tidak dapat menentukan log tersebut milik pengguna mana.

Jika Anda perlu melakukan kueri log berdasarkan pengguna, sertakan informasi pengguna sebagai field log saat mengumpulkan log. Kemudian buat indeks untuk field tersebut dan aktifkan analitik dalam konfigurasi indeks.