Kueri dan analisis log menggunakan pola indeks - Simple Log Service

Simple Log Service memungkinkan Anda melakukan kueri dan analisis log dengan mengonfigurasi indeks. Fitur ini mengintegrasikan analitik SQL dan menyediakan berbagai fungsi SQL.

Sebelum memulai

Simple Log Service menyediakan fitur kueri dan analisis log. Memulai kueri dan analisis log.
Kumpulkan log ke dalam logstore Standard (Mengelola logstore). Setelah Anda membuat indeks, kueri dan analisis hanya berlaku untuk log inkremental. Untuk melakukan kueri terhadap file log historis, lakukan reindex.
Untuk melakukan kueri terhadap puluhan miliar log, lihat Apa yang harus saya lakukan jika pesan error "The results are inaccurate" muncul di konsol?.
Simple Log Service mencakup reserved field secara default. Reserved fields menjelaskan cara menganalisisnya.

Kueri dan analisis

Simple Log Service memungkinkan Anda melakukan kueri terhadap miliaran log dalam hitungan detik dan menganalisis hasilnya menggunakan SQL. Search statement dapat dijalankan sendiri, tetapi analytic statement harus mengikuti search statement untuk menganalisis hasil kueri atau seluruh dataset.

Catatan

SLS Query Skill untuk kueri dan analisis log cerdas: Simple Log Service menyediakan Agent Skill untuk melakukan kueri dan analisis data log SLS dengan bahasa alami dalam AI Agent lokal.

Sintaks dasar

Kueri terdiri dari search statement dan analytic statement opsional, dipisahkan oleh tanda pipa (|). Search statement dapat dijalankan sendiri, tetapi analytic statement harus mengikuti search statement.

Search statement | Analytic statement

Jenis	Deskripsi
Search statement	Search statement menentukan aturan filter dan mengembalikan log yang sesuai. Format kueri adalah `Search statement`, contohnya: `status: 200`. Kondisi pencarian mencakup kata kunci, angka, rentang numerik, spasi, dan tanda bintang (``). Spasi atau tanda bintang (``) akan mencocokkan semua log. Sintaks dan fitur kueri. Penting Gunakan tidak lebih dari 30 kondisi dalam search statement.
Analytic statement	Untuk menggunakan analitik, kumpulkan log ke dalam logstore Standard dan aktifkan Enable Analytics untuk bidang yang diperlukan saat mengonfigurasi index. Analytic statement menghitung dan menganalisis hasil kueri atau seluruh dataset. Fungsi dan sintaks yang didukung: Fungsi SQL: Fungsi SQL biasanya digunakan untuk menghitung, mentransformasi, dan memformat data — seperti jumlah, rata-rata, operasi string, dan pemrosesan tanggal. Klausa SQL: Klausula SQL membangun pernyataan kueri atau manipulasi data yang lengkap. Klausula ini mendefinisikan sumber data, kondisi, pengelompokan, pengurutan, dan lainnya. Subkueri bersarang: Subkueri bersarang adalah pernyataan SELECT yang disarangkan di dalam SELECT lain untuk analisis kompleks. Kueri dan analisis federasi data Logstore dan MySQL: Lakukan kueri federasi lintas data Logstore dan MySQL menggunakan sintaks `JOIN` dan simpan hasilnya ke MySQL. Gunakan SPL untuk kueri dan analisis log: Gunakan SLS Processing Language (SPL) untuk mengekstraksi informasi terstruktur, memanipulasi bidang, dan memfilter data log. Penting Secara default, analytic statement menganalisis data di logstore saat ini. Klausula `FROM` dan `WHERE` tidak diperlukan. Analytic statement tidak peka huruf besar/kecil, tidak mendukung parameter `offset`, dan tidak memerlukan titik koma di akhir.

Simple Log Service menyediakan file grammar ANTLR untuk mengembangkan aplikasi kustom berdasarkan kueri SLS.

File grammar ANTLR:

Contoh

* | SELECT status, count(*) AS PV GROUP BY status

Di tab Statistical Chart, hasil kueri dan analisis ditampilkan sebagai grafik garis yang menunjukkan distribusi PV kode status HTTP (499, 200, 301, 302, 304, 400). Panel General Configuration di sebelah kanan memungkinkan Anda mengganti jenis grafik serta mengonfigurasi bidang sumbu-x dan sumbu-y.

Fitur lanjutan

LiveTail: Pantau log secara real-time untuk mengurangi beban kerja O&M.
LogReduce: Ekstrak pola dari log serupa selama pengumpulan untuk gambaran cepat data log.
Kueri kontekstual: Lihat konteks log untuk troubleshooting.
Analisis bidang: Lihat distribusi bidang, metrik statistik, dan lima grafik deret waktu teratas.
Konfigurasi event: Konfigurasikan event untuk mengekstraksi detail dari log mentah.
Ikhtisar StoreView: Gunakan StoreView untuk melakukan kueri federasi cross-region dan cross-store.

Batasan kueri

Item	Deskripsi
Jumlah kata kunci	Maksimal 30 kondisi per kueri, tidak termasuk operator logika.
Ukuran nilai bidang	Ukuran maksimum nilai bidang tunggal: 512 KB. Konten yang melebihi batas ini tidak diindeks. Log dengan nilai bidang melebihi 512 KB mungkin tidak muncul dalam pencarian kata kunci, tetapi data log tetap utuh. Catatan Untuk mengonfigurasi panjang maksimum nilai bidang, lihat Mengapa nilai bidang terpotong selama kueri dan analisis?
Operasi konkuren	Sebuah project mendukung hingga 100 kueri konkuren. Contohnya, 100 pengguna dapat melakukan kueri terhadap logstore berbeda dalam project yang sama secara simultan.
Hasil yang dikembalikan	Maksimal 100 hasil per halaman. Navigasi antar halaman untuk melihat semua hasil.
Pencarian fuzzy	Saat melakukan fuzzy search, Simple Log Service mencocokkan hingga 100 istilah dan mengembalikan log yang berisi istilah tersebut sesuai kriteria pencarian. Pencarian fuzzy.
Pengurutan hasil	Hasil diurutkan berdasarkan waktu secara descending, akurat hingga detik atau nanodetik.

Batasan

Batas	Instans tujuan umum	SQL Khusus
Batas	Instans tujuan umum	Peningkatan SQL	Presisi Penuh
Konkurensi	Hingga 15 kueri konkuren per proyek.	Hingga 100 kueri konkuren per proyek.	Hingga 5 kueri konkuren per proyek.
Volume data	Hingga 400 MB per kueri (tidak termasuk data cache). Data berlebih dipotong dengan penanda incomplete query result.	Hingga 2 GB per kueri (tidak termasuk data cache). Data berlebih dipotong dengan penanda incomplete query result.	Tanpa Batas.
Aktivasi mode	Diaktifkan secara default.	Aktifkan melalui toggle. Peningkatan SQL.	Aktifkan melalui toggle. Akurasi penuh SQL.
Biaya	Gratis.	Dikenakan biaya berdasarkan waktu CPU aktual yang digunakan.	Dikenakan biaya berdasarkan waktu CPU aktual yang digunakan.
Efektivitas data	Hanya berlaku untuk data yang ditulis setelah fitur diaktifkan. Untuk menganalisis data historis, Anda harus melakukan reindex.	Hanya berlaku untuk data yang ditulis setelah fitur diaktifkan. Untuk menganalisis data historis, Anda harus melakukan reindex.	Hanya berlaku untuk data yang ditulis setelah fitur diaktifkan. Untuk menganalisis data historis, Anda harus melakukan reindex.
Hasil yang dikembalikan	Secara default, kueri mengembalikan maksimal 100 baris dan 100 MB. Kueri yang melebihi 100 MB mengembalikan error. Untuk mengembalikan lebih banyak data, gunakan klausa LIMIT.	Secara default, kueri mengembalikan maksimal 100 baris dan 100 MB. Kueri yang melebihi 100 MB mengembalikan error. Untuk mengembalikan lebih banyak data, gunakan klausa LIMIT.	Secara default, kueri mengembalikan maksimal 100 baris dan 100 MB. Kueri yang melebihi 100 MB mengembalikan error. Untuk mengembalikan lebih banyak data, gunakan klausa LIMIT.
Ukuran nilai bidang	Panjang maksimum nilai bidang default adalah 2 KB (2.048 byte), dapat dikonfigurasi hingga 16 KB (16.384 byte). Konten yang melebihi batas tidak termasuk dalam analisis dan pengambilan. Catatan Untuk mengubah batas, atur Maximum Length of Text Field. Pengaturan yang diperbarui hanya berlaku untuk data inkremental. Buat indeks.	Panjang maksimum nilai bidang default adalah 2 KB (2.048 byte), dapat dikonfigurasi hingga 16 KB (16.384 byte). Konten yang melebihi batas tidak termasuk dalam analisis dan pengambilan. Catatan Untuk mengubah batas, atur Maximum Length of Text Field. Pengaturan yang diperbarui hanya berlaku untuk data inkremental. Buat indeks.	Panjang maksimum nilai bidang default adalah 2 KB (2.048 byte), dapat dikonfigurasi hingga 16 KB (16.384 byte). Konten yang melebihi batas tidak termasuk dalam analisis dan pengambilan. Catatan Untuk mengubah batas, atur Maximum Length of Text Field. Pengaturan yang diperbarui hanya berlaku untuk data inkremental. Buat indeks.
Periode timeout	Timeout maksimum: 55 detik.	Timeout maksimum: 55 detik.	Timeout maksimum: 55 detik.
Jumlah bit untuk nilai bidang bertipe double	Maksimal 52 bit untuk nilai bidang bertipe double. Bilangan floating-point yang dikodekan dengan lebih dari 52 bit kehilangan presisi.	Maksimal 52 bit untuk nilai bidang bertipe double. Bilangan floating-point yang dikodekan dengan lebih dari 52 bit kehilangan presisi.	Maksimal 52 bit untuk nilai bidang bertipe double. Bilangan floating-point yang dikodekan dengan lebih dari 52 bit kehilangan presisi.

Simple Log Service:Kueri dan analisis berbasis indeks