Kueri dan analisis log menggunakan pola indeks - Simple Log Service

Simple Log Service memungkinkan Anda melakukan kueri dan analisis log dengan mengonfigurasi indeks. Fitur ini mengintegrasikan analitik SQL. Topik ini menjelaskan sintaks dasar, batasan penggunaan, serta fungsi SQL untuk fitur tersebut.

Sebelum memulai

Simple Log Service menyediakan fitur untuk melakukan kueri dan analisis log. Untuk petunjuknya, lihat Memulai kueri dan analisis log.
Untuk melakukan kueri dan analisis log, Anda harus mengumpulkan log ke dalam logstore Jenis Penyimpanan Standar. Untuk informasi selengkapnya, lihat Mengelola logstore. Setelah Anda membuat indeks, kueri dan analisis hanya berjalan pada log inkremental. Untuk melakukan kueri dan analisis pada file log historis, Anda harus melakukan pengindeksan ulang.
Jika Anda perlu melakukan kueri terhadap puluhan miliar log, lihat Apa yang harus saya lakukan jika muncul pesan error "Hasil tidak akurat" di Konsol?.
Simple Log Service secara default menyertakan reserved field. Untuk menganalisis reserved field, lihat Reserved fields.

Kueri dan analisis

Simple Log Service memungkinkan Anda melakukan kueri terhadap miliaran log dalam hitungan detik dan melakukan analisis statistik terhadap hasilnya menggunakan SQL. Meskipun search statement dapat digunakan sendiri, analytic statement harus selalu dipasangkan dengan search statement. Hal ini memungkinkan Anda menganalisis hasil kueri atau seluruh dataset.

Catatan

SLS Query Skill untuk kueri dan analisis log cerdas: Simple Log Service menyediakan Agent Skill yang memungkinkan Anda menggunakan bahasa alami untuk melakukan kueri dan analisis data log SLS dalam AI Agent lokal.

Sintaks dasar

Sebuah kueri terdiri dari search statement dan analytic statement opsional, dipisahkan oleh tanda pipa vertikal (|). Anda dapat menjalankan search statement sendiri. Namun, analytic statement harus selalu mengikuti search statement untuk menganalisis hasil kueri atau seluruh dataset.

Search statement | Analytic statement

Jenis	Deskripsi
Search statement	Search statement menentukan aturan filter untuk kueri log dan mengembalikan log yang sesuai. Sebuah kueri disusun sebagai `Search statement`. Contohnya: `status: 200`. Kondisi pencarian dapat berupa kata kunci, angka, rentang numerik, spasi, atau tanda bintang (``). Spasi atau tanda bintang (``) menunjukkan tanpa filter. Untuk informasi lebih lanjut, lihat Sintaks dan fitur kueri. Penting Kami menyarankan agar Anda tidak menggunakan lebih dari 30 kondisi dalam search statement.
Analytic statement	Untuk menggunakan fitur analisis, Anda harus mengumpulkan log ke dalam logstore Jenis Penyimpanan Standar dan memilih Enable Analytics untuk bidang yang diperlukan saat mengonfigurasi index. Analytic statement menghitung dan menganalisis hasil kueri atau seluruh dataset. Untuk fungsi dan sintaks yang didukung oleh Simple Log Service, lihat topik berikut: Fungsi SQL: Fungsi SQL biasanya digunakan untuk menghitung, mentransformasi, dan memformat data. Misalnya, Anda dapat menggunakannya untuk menghitung jumlah dan rata-rata, melakukan operasi string, serta memproses tanggal. Klausa SQL: Klausula SQL digunakan untuk menyusun pernyataan kueri atau manipulasi data SQL yang lengkap. Klausula ini menentukan sumber data, kondisi, pengelompokan, pengurutan, dan lainnya. Subkueri bersarang: Subkueri bersarang adalah pernyataan SELECT yang disarangkan di dalam pernyataan SELECT lainnya. Subkueri ini digunakan untuk skenario analisis kompleks. Kueri dan analisis federasi data Logstore dan MySQL: Anda dapat melakukan kueri federasi terhadap data di Logstore dan MySQL menggunakan sintaks `JOIN` serta menyimpan hasilnya ke database MySQL. Gunakan SPL untuk kueri dan analisis log: Anda dapat menggunakan SLS Processing Language (SPL) untuk mengekstraksi informasi terstruktur, memanipulasi bidang, dan memfilter data dari log Anda. Penting Secara default, analytic statement menganalisis data di logstore saat ini. Anda tidak perlu menyertakan klausa `FROM` atau `WHERE`. Analytic statement tidak peka huruf besar/kecil, tidak mendukung parameter `offset`, dan tidak memerlukan titik koma di akhir.

Simple Log Service menyediakan file grammar ANTLR yang dapat Anda gunakan dengan alat ANTLR untuk mengembangkan aplikasi kustom berdasarkan kueri SLS.

Berikut adalah file grammar ANTLR tersebut:

Contoh

* | SELECT status, count(*) AS PV GROUP BY status

Hasil kueri dan analisis ditampilkan pada gambar berikut.

Fitur lanjutan

LiveTail: Pantau log online secara real time untuk mengurangi beban kerja O&M.
LogReduce: Mengekstraksi pola dari log serupa selama pengumpulan log untuk memberikan ikhtisar cepat atas data log Anda.
Kueri kontekstual: Lihat konteks log tertentu untuk mempermudah troubleshooting dan diagnosis masalah.
Analisis bidang: Menyediakan distribusi bidang, metrik statistik, dan lima grafik deret waktu teratas untuk membantu Anda memahami data Anda.
Konfigurasi event: Konfigurasikan event untuk memperoleh informasi detail dari log mentah dengan mudah.
Ikhtisar StoreView: Gunakan StoreView untuk melakukan kueri federasi cross-region dan cross-store.

Batasan kueri

Item	Deskripsi
Jumlah kata kunci	Anda dapat menentukan hingga 30 kondisi, tidak termasuk operator logika, dalam satu kueri.
Ukuran nilai bidang	Ukuran maksimum nilai bidang tunggal adalah 512 KB. Konten yang melebihi batas ini tidak diindeks untuk kueri. Jika nilai bidang lebih besar dari 512 KB, Anda mungkin tidak dapat menemukan log tersebut melalui pencarian kata kunci, tetapi data log itu sendiri tetap lengkap. Catatan Untuk mengatur panjang maksimum nilai field log, lihat Mengapa nilai bidang terpotong selama kueri dan analisis?
Operasi konkuren	Satu project mendukung maksimal 100 operasi kueri konkuren. Misalnya, 100 pengguna dapat menjalankan kueri di logstore berbeda dalam project yang sama secara bersamaan.
Hasil yang dikembalikan	Setiap kueri mengembalikan hingga 100 hasil per halaman. Anda dapat menavigasi halaman untuk melihat semua hasil.
Pencarian fuzzy	Saat Anda melakukan fuzzy search, Simple Log Service menemukan hingga 100 istilah yang cocok dan mengembalikan semua log yang mengandung istilah tersebut serta memenuhi kriteria pencarian. Untuk informasi selengkapnya, lihat Pencarian fuzzy.
Pengurutan hasil	Secara default, hasil ditampilkan dalam urutan kronologis menurun, diurutkan berdasarkan waktu akurat hingga detik atau nanodetik, jika tersedia.

Batasan

Batas	Instans tujuan umum	SQL Khusus
Batas	Instans tujuan umum	Peningkatan SQL	Presisi Penuh
Konkurensi	Hingga 15 kueri konkuren per project.	Hingga 100 kueri konkuren per project.	Hingga 5 kueri konkuren per project.
Volume data	Sebuah kueri tunggal dapat memindai hingga 400 MB data log, tidak termasuk data cache. Data yang melebihi batas ini akan dipotong, dan hasilnya ditandai sebagai hasil kueri tidak lengkap.	Sebuah kueri tunggal dapat memindai hingga 2 GB data log, tidak termasuk data cache. Data yang melebihi batas ini akan dipotong, dan hasilnya ditandai sebagai hasil kueri tidak lengkap.	Tanpa Batas.
Aktivasi mode	Diaktifkan secara default.	Anda dapat mengaktifkan fitur ini menggunakan sakelar. Untuk informasi selengkapnya, lihat Peningkatan SQL.	Anda dapat mengaktifkan fitur ini menggunakan sakelar. Untuk informasi selengkapnya, lihat Akurasi penuh SQL.
Biaya	Gratis.	Dikenakan biaya berdasarkan waktu CPU aktual yang digunakan.	Dikenakan biaya berdasarkan waktu CPU aktual yang digunakan.
Efektivitas data	Fitur analisis hanya berlaku untuk data yang ditulis setelah fitur diaktifkan. Untuk menganalisis data historis, Anda harus melakukan pengindeksan ulang.	Fitur analisis hanya berlaku untuk data yang ditulis setelah fitur diaktifkan. Untuk menganalisis data historis, Anda harus melakukan pengindeksan ulang.	Fitur analisis hanya berlaku untuk data yang ditulis setelah fitur diaktifkan. Untuk menganalisis data historis, Anda harus melakukan pengindeksan ulang.
Hasil yang dikembalikan	Secara default, operasi analisis mengembalikan maksimal 100 baris data dan 100 MB data. Kesalahan dilaporkan untuk analytic statement yang mengembalikan lebih dari 100 MB data. Untuk mengembalikan lebih banyak data, gunakan klausa LIMIT.	Secara default, operasi analisis mengembalikan maksimal 100 baris data dan 100 MB data. Kesalahan dilaporkan untuk analytic statement yang mengembalikan lebih dari 100 MB data. Untuk mengembalikan lebih banyak data, gunakan klausa LIMIT.	Secara default, operasi analisis mengembalikan maksimal 100 baris data dan 100 MB data. Kesalahan dilaporkan untuk analytic statement yang mengembalikan lebih dari 100 MB data. Untuk mengembalikan lebih banyak data, gunakan klausa LIMIT.
Ukuran nilai bidang	Panjang maksimum default nilai bidang tunggal adalah 2 KB (2.048 byte). Anda dapat meningkatkan panjang maksimum menjadi 16 KB (16.384 byte). Bagian nilai yang melebihi batas tidak digunakan dalam analisis dan pengambilan log. Catatan Untuk mengubah panjang maksimum nilai bidang, atur Maximum Length of Text Field. Pengaturan indeks yang diperbarui hanya berlaku untuk data inkremental. Untuk informasi selengkapnya, lihat Buat indeks.	Panjang maksimum default nilai bidang tunggal adalah 2 KB (2.048 byte). Anda dapat meningkatkan panjang maksimum menjadi 16 KB (16.384 byte). Bagian nilai yang melebihi batas tidak digunakan dalam analisis dan pengambilan log. Catatan Untuk mengubah panjang maksimum nilai bidang, atur Maximum Length of Text Field. Pengaturan indeks yang diperbarui hanya berlaku untuk data inkremental. Untuk informasi selengkapnya, lihat Buat indeks.	Panjang maksimum default nilai bidang tunggal adalah 2 KB (2.048 byte). Anda dapat meningkatkan panjang maksimum menjadi 16 KB (16.384 byte). Bagian nilai yang melebihi batas tidak digunakan dalam analisis dan pengambilan log. Catatan Untuk mengubah panjang maksimum nilai bidang, atur Maximum Length of Text Field. Pengaturan indeks yang diperbarui hanya berlaku untuk data inkremental. Untuk informasi selengkapnya, lihat Buat indeks.
Periode timeout	Periode timeout maksimum untuk operasi analisis adalah 55 detik.	Periode timeout maksimum untuk operasi analisis adalah 55 detik.	Periode timeout maksimum untuk operasi analisis adalah 55 detik.
Jumlah bit untuk nilai bidang bertipe double	Nilai bidang bertipe double dapat memiliki maksimal 52 bit. Jika jumlah bit yang digunakan untuk meng-encode bilangan titik mengambang melebihi 52, terjadi loss of precision.	Nilai bidang bertipe double dapat memiliki maksimal 52 bit. Jika jumlah bit yang digunakan untuk meng-encode bilangan titik mengambang melebihi 52, terjadi loss of precision.	Nilai bidang bertipe double dapat memiliki maksimal 52 bit. Jika jumlah bit yang digunakan untuk meng-encode bilangan titik mengambang melebihi 52, terjadi loss of precision.

Simple Log Service:Kueri dan analisis berbasis indeks