Kueri dan Analisis Log dalam Mode Indeks - Simple Log Service

Simple Log Service memungkinkan Anda melakukan kueri dan menganalisis log dengan mengonfigurasi indeks, memanfaatkan kemampuan komputasi SQL. Topik ini menjelaskan sintaksis dasar, batasan, serta fungsi SQL yang digunakan dalam fitur ini.

Panduan membaca

Simple Log Service menyediakan fitur untuk kueri dan analisis log. Untuk informasi lebih lanjut, lihat Pengenalan cepat untuk kueri dan analisis log.
Untuk melakukan kueri dan analisis log, Anda harus terlebih dahulu mengumpulkan log di Logstore Standar. Untuk informasi lebih lanjut, lihat Kelola Logstore. Setelah Anda membuat indeks, Anda hanya dapat melakukan kueri dan analisis pada log tambahan. Untuk menanyakan dan menganalisis file log historis, Anda harus pengindeksan ulang mereka.
Untuk menanyakan puluhan miliar log, lihat Apa yang harus saya lakukan jika pesan "Hasil kueri tidak akurat" muncul di konsol?.
Simple Log Service mencakup beberapa bidang cadangan secara default. Untuk menganalisis bidang cadangan ini, lihat Bidang Cadangan.

Kueri dan analisis

Simple Log Service memungkinkan Anda menanyai miliaran hingga ratusan miliar log dalam hitungan detik serta melakukan analisis statistik pada hasil menggunakan SQL. Anda dapat menggunakan pernyataan pencarian secara mandiri, tetapi pernyataan analitik harus digunakan bersama dengan pernyataan pencarian. Ini berarti analisis dilakukan pada hasil pencarian atau pada keseluruhan data.

Sintaksis dasar

Pernyataan pencarian dan pernyataan analitik dipisahkan oleh garis vertikal (|). Anda dapat menggunakan pernyataan pencarian secara mandiri, tetapi pernyataan analitik harus digunakan dengan pernyataan pencarian. Ini berarti analisis dilakukan pada hasil pencarian atau data lengkap.

Pernyataan Pencarian|Pernyataan Analitik

Tipe	Deskripsi
Pernyataan pencarian	Pernyataan pencarian menentukan aturan filter untuk kueri log dan mengembalikan log yang memenuhi kondisi. Format: `Pernyataan pencarian`. Contoh: `status: 200`. Anda dapat menggunakan kata kunci, nilai numerik, rentang numerik, spasi, atau asterisk (``) sebagai kondisi pencarian. Spasi atau asterisk (``) menunjukkan bahwa tidak ada kondisi filter yang diterapkan. Untuk informasi lebih lanjut, lihat Sintaksis pencarian dan fitur. Penting Tetapkan tidak lebih dari 30 kondisi dalam pernyataan pencarian.
Pernyataan analitik	Untuk menggunakan fitur analisis, Anda harus mengumpulkan log ke Logstore Standar dan mengaktifkan saklar Enable Statistics untuk bidang yang diperlukan saat Anda mengonfigurasi indeks. Pernyataan analitik menghitung dan mengagregasi hasil pencarian atau data lengkap. Untuk informasi lebih lanjut tentang fungsi analisis dan sintaksis yang didukung oleh Simple Log Service, lihat topik-topik berikut: Fungsi SQL: Fungsi SQL biasanya digunakan untuk menghitung, mentransformasi, dan memformat data. Misalnya, Anda dapat menggunakan fungsi SQL untuk menghitung jumlah dan rata-rata, melakukan operasi string, dan memproses tanggal. Klausa SQL: Klausa SQL digunakan untuk membangun pernyataan kueri SQL lengkap atau operasi data. Mereka menentukan sumber data, kondisi, pengelompokan, pengurutan, dan lainnya. Subkueri bertingkat: Subkueri bertingkat adalah pernyataan SELECT yang bersarang di dalam pernyataan SELECT lainnya. Subkueri bertingkat digunakan untuk skenario analisis kompleks. Kueri gabungan dan analisis Logstore dan database MySQL: Anda dapat menggunakan sintaks JOIN untuk menanyakan Logstore dan database MySQL bersama-sama. Hasilnya dapat disimpan ke database MySQL. Gunakan SPL untuk menanyakan dan menganalisis log: Anda dapat menggunakan SPL untuk mengekstrak informasi terstruktur, melakukan operasi bidang, dan menyaring data dari log. Penting Pernyataan analitik menganalisis data di Logstore saat ini secara default. Anda tidak perlu menentukan klausa FROM dan WHERE. Pernyataan analitik tidak peka huruf besar/kecil dan tidak mendukung kata kunci offset. Anda tidak perlu menambahkan titik koma di akhir pernyataan analitik.

Simple Log Service menyediakan file tata bahasa ANTLR untuk kueri dan analisis. Anda dapat menggunakan file-file ini dengan alat ANTLR untuk melakukan pengembangan kustom berdasarkan kueri SLS.

Berikut adalah file tata bahasa ANTLR:

Contoh

* | SELECT status, count(*) AS PV GROUP BY status

Hasil kueri dan analisis ditampilkan pada gambar berikut:

Fitur lanjutan

LiveTail: Pantau log online secara real-time untuk menyederhanakan operasi dan pemeliharaan (O&M).
LogReduce: Ekstrak pola umum dari log serupa selama pengumpulan log untuk dengan cepat memahami struktur log keseluruhan.
Kueri Kontekstual: Lihat informasi kontekstual dari log tertentu untuk memfasilitasi pemecahan masalah dan identifikasi masalah.
Analisis Bidang: Lihat distribusi bidang, metrik statistik, dan grafik deret waktu TOP 5 untuk membantu Anda memahami data Anda.
Konfigurasi Acara: Dapatkan informasi detail tentang log mentah melalui konfigurasi acara dengan mudah.
Ikhtisar Dataset (StoreViews): Gunakan fitur StoreView untuk melakukan kueri gabungan lintas wilayah dan Logstore.

Batasan pada fitur kueri

Batasan	Deskripsi
Jumlah kata kunci	Jumlah kata kunci kondisional, tidak termasuk operator Boolean. Maksimal 30 kata kunci dapat ditentukan untuk setiap kueri.
Ukuran nilai bidang	Ukuran maksimum nilai bidang tunggal adalah 512 KB. Bagian yang melebihi tidak termasuk dalam kueri. Jika panjang bidang tunggal lebih besar dari 512 KB, Anda mungkin tidak dapat menemukan log menggunakan pencarian kata kunci, tetapi data tetap lengkap. Catatan Untuk menetapkan panjang maksimum nilai bidang log, lihat Mengapa nilai bidang dipotong selama kueri dan analisis?
Jumlah operasi konkuren	Setiap proyek mendukung maksimal 100 operasi kueri konkuren. Misalnya, 100 pengguna dapat menjalankan operasi kueri di Logstore yang berbeda dari proyek yang sama secara bersamaan.
Hasil yang dikembalikan	Setiap kueri mengembalikan maksimal 100 hasil per halaman. Anda dapat menelusuri hasil untuk membaca semuanya.
Kueri fuzzy	Saat Anda melakukan kueri fuzzy, Simple Log Service menemukan maksimal 100 istilah yang cocok dan mengembalikan semua log yang berisi istilah tersebut dan memenuhi kriteria pencarian. Untuk informasi lebih lanjut, lihat Kueri fuzzy.
Pengurutan hasil kueri	Secara default, hasil ditampilkan dalam urutan menurun berdasarkan waktu, akurat hingga detik. Jika ada nanodetik, hasil diurutkan berdasarkan waktu nanodetik.

Batasan fitur analisis

Batas	Instans Standar	Instans SQL Khusus
Batas	Instans Standar	Penyempurnaan SQL	Akurasi Lengkap
Konkurensi	Hingga 15 kueri konkuren per proyek.	Hingga 100 kueri konkuren per proyek.	Hingga 5 kueri konkuren per proyek.
Volume Data	Sebuah kueri tunggal dapat memindai hingga 400 MB data log (tidak termasuk data yang di-cache). Data yang melebihi batas ini akan dipotong dan ditandai sebagai hasil kueri tidak lengkap.	Sebuah kueri tunggal dapat memindai hingga 2 GB data log (tidak termasuk data yang di-cache). Data yang melebihi batas ini akan dipotong dan ditandai sebagai hasil kueri tidak lengkap.	Tidak terbatas.
Cara Mengaktifkan	Secara default, fitur analisis log diaktifkan.	Sebuah saklar disediakan untuk Anda aktifkan Dedicated SQL secara manual.	Sebuah saklar disediakan untuk Anda aktifkan Dedicated SQL secara manual.
Biaya	Gratis.	Anda dikenakan biaya berdasarkan waktu CPU aktual.	Anda dikenakan biaya berdasarkan waktu CPU aktual.
Mekanisme Efektivitas Data	Anda hanya dapat menganalisis data yang ditulis ke Simple Log Service setelah fitur analisis log diaktifkan. Jika Anda perlu menganalisis data historis, Anda harus pengindeksan ulang data historis tersebut.	Anda hanya dapat menganalisis data yang ditulis ke Simple Log Service setelah fitur analisis log diaktifkan. Jika Anda perlu menganalisis data historis, Anda harus pengindeksan ulang data historis tersebut.	Anda hanya dapat menganalisis data yang ditulis ke Simple Log Service setelah fitur analisis log diaktifkan. Jika Anda perlu menganalisis data historis, Anda harus pengindeksan ulang data historis tersebut.
Hasil yang Dikembalikan	Secara default, analisis mengembalikan hingga 100 baris dan 100 MB data. Melebihi 100 MB menghasilkan kesalahan. Jika Anda perlu mengembalikan lebih banyak data, gunakan Klausa LIMIT.	Secara default, analisis mengembalikan hingga 100 baris dan 100 MB data. Melebihi 100 MB menghasilkan kesalahan. Jika Anda perlu mengembalikan lebih banyak data, gunakan Klausa LIMIT.	Secara default, analisis mengembalikan hingga 100 baris dan 100 MB data. Melebihi 100 MB menghasilkan kesalahan. Jika Anda perlu mengembalikan lebih banyak data, gunakan Klausa LIMIT.
Panjang Maksimum Bidang	Panjang maksimum default untuk satu bidang adalah 2.048 byte (2 KB) dan dapat disesuaikan hingga 16.384 byte (16 KB). Data yang melebihi batas ini tidak akan dimasukkan dalam kueri dan analisis log. Catatan Untuk mengubah batas ini, sesuaikan Maximum Field Length. Perubahan hanya berlaku untuk data baru. Untuk informasi lebih lanjut, lihat Buat Indeks.	Panjang maksimum default untuk satu bidang adalah 2.048 byte (2 KB) dan dapat disesuaikan hingga 16.384 byte (16 KB). Data yang melebihi batas ini tidak akan dimasukkan dalam kueri dan analisis log. Catatan Untuk mengubah batas ini, sesuaikan Maximum Field Length. Perubahan hanya berlaku untuk data baru. Untuk informasi lebih lanjut, lihat Buat Indeks.	Panjang maksimum default untuk satu bidang adalah 2.048 byte (2 KB) dan dapat disesuaikan hingga 16.384 byte (16 KB). Data yang melebihi batas ini tidak akan dimasukkan dalam kueri dan analisis log. Catatan Untuk mengubah batas ini, sesuaikan Maximum Field Length. Perubahan hanya berlaku untuk data baru. Untuk informasi lebih lanjut, lihat Buat Indeks.
Periode Timeout	Periode timeout maksimum untuk operasi analisis adalah 55 detik.	Periode timeout maksimum untuk operasi analisis adalah 55 detik.	Periode timeout maksimum untuk operasi analisis adalah 55 detik.
Jumlah Bit untuk Nilai Bidang Tipe Double	Nilai bidang tipe double dibatasi hingga 52 bit. Melebihi ini dapat menyebabkan kehilangan presisi pada bilangan titik mengambang.	Nilai bidang tipe double dibatasi hingga 52 bit. Melebihi ini dapat menyebabkan kehilangan presisi pada bilangan titik mengambang.	Nilai bidang tipe double dibatasi hingga 52 bit. Melebihi ini dapat menyebabkan kehilangan presisi pada bilangan titik mengambang.

Simple Log Service：Kueri dan analisis berbasis indeks