如何通过SQL聚合指标数据进行智能巡检 - Simple Log Service

Fitur inspeksi cerdas secara otomatis mendeteksi anomali dalam log layanan Anda. Anda dapat membuat task inspeksi cerdas yang menggunakan SQL untuk mengagregasi data metrik guna deteksi real-time.

Prasyarat

Kumpulkan dan simpan log di Logstore sumber. Untuk informasi selengkapnya, lihat Pengumpulan data.
Buat indeks untuk Logstore sumber. Untuk informasi selengkapnya, lihat Buat indeks.
Buat instans Intelligent Anomaly Analysis. Untuk informasi selengkapnya, lihat Buat instans.

Buat task inspeksi cerdas

Navigasi ke halaman pembuatan task

Masuk ke Konsol Simple Log Service.
Navigasi ke halaman pembuatan task.
1. Di bagian Log Application, klik Intelligent Anomaly Analysis.
2. Pada daftar instans, klik instans target.
3. Di panel navigasi sebelah kiri, klik Intelligent Inspection.
4. Klik Real-time Detection.
5. Di bagian Inspection Job, klik Create Now.

Informasi dasar

Pada bagian Basic Information wizard Create Intelligent Inspection Job, lengkapi konfigurasi berikut, lalu klik Next.

Parameter	Deskripsi
Task Name	Masukkan nama untuk task inspeksi cerdas.
Project	Pilih Project yang berisi Logstore atau Metricstore sumber.
Region	Menampilkan wilayah dari Project yang dipilih.
Logstore Type	Pilih jenis penyimpanan data. Jika data Anda disimpan di Logstore, pilih Logstore. Jika data Anda disimpan di Metricstore, pilih Metricstores.
Source Logstore	Saat Logstore Type diatur ke Logstore, Anda harus mengatur Source Logstore, yaitu Logstore tempat data sumber Anda berada.
Metricstores	Saat Logstore Type diatur ke Metricstores, Anda harus mengatur Metricstores ke Metricstore yang berisi data sumber Anda.
Role	Jika Anda telah menyelesaikan otorisasi saat membuat instans, ARN dari role `AliyunLogETLRole` akan ditampilkan secara otomatis.
Target Store	Logstore tujuan. Nilai ini tetap sebagai `internal-ml-log`.

Konfigurasi fitur data

Pada langkah Data feature configuration, pilih Format Data with SQL untuk Data Type. Masukkan pernyataan kueri dan analisis, lalu konfigurasikan parameter seperti dijelaskan dalam tabel berikut. Untuk informasi selengkapnya, lihat Ikhtisar kueri dan Ikhtisar kueri dan analisis.

Pernyataan kueri contoh

* | select __time__ - __time__ % 60 as time, domain, sum(request_size) as request_size from log group by time, domain limit 100000

Entity: domain
Feature: request_size

Parameter	Deskripsi
Time	Bidang yang merepresentasikan waktu dalam data sumber. Secara default, Layanan Log menggunakan bidang `__time__` di Logstore.
Granularity	Interval pengamatan data, dalam detik. Nilainya harus antara 5 hingga 3600. Disarankan menggunakan nilai 60 atau lebih besar.
Entity	Bidang yang mengidentifikasi entitas tertentu dalam data sumber. Data diagregasi berdasarkan entitas ini untuk menghasilkan deret waktu.
Feature	Bidang yang mengidentifikasi data fitur dalam data sumber.

Konfigurasi algoritma

Pada langkah Algorithm configuration, pilih Algorithm. Opsi yang tersedia adalah Stream Graph Algorithm dan Stream Decomposition Algorithm. Parameter yang tersedia bervariasi tergantung pada algoritma yang dipilih.

Stream graph algorithm

Parameter	Subparameter	Deskripsi
Advanced parameters (Required)	Time series segments	Jumlah segmen yang membagi nilai deret waktu berdasarkan besarnya. Ini digunakan untuk mendiskritisasi deret waktu dan membangun graf evolusi deret waktu. Nilai default: 8. Rekomendasi rentang: [5, 20]. Jumlah segmen yang lebih kecil membuat deteksi anomali kurang sensitif.
	Observation length	Jumlah titik data historis yang diamati untuk deteksi anomali. Nilai default: 2880. Rekomendasi rentang: [200, 4000]. Jika deret waktu yang dideteksi memiliki musiman, kami menyarankan panjang observasi mencakup setidaknya dua periode penuh titik data. Misalnya, jika deret waktu memiliki granularitas 1 menit dan periode 1 hari, dua periode berisi 2.880 titik data. Dalam kasus ini, kami menyarankan Anda mengatur panjang observasi menjadi 2880 atau lebih besar.
	Period-over-period comparison length	Durasi analisis period-over-period, dalam hari. Deteksi anomali berfokus pada menganalisis fitur period-over-period dari metrik yang dideteksi. Jika Anda mengatur parameter ini ke 0, algoritma tidak melakukan analisis period-over-period.
	Major capture type	Jenis anomali deret waktu yang difokuskan. Nilai yang valid: Upward Spike: Lonjakan nilai metrik pada satu titik. Downward Spike: Penurunan nilai metrik pada satu titik. Upward Shift: Nilai metrik naik dan tetap pada level yang lebih tinggi selama beberapa titik. Downward Shift: Nilai metrik turun dan tetap pada level yang lebih rendah selama beberapa titik. Upward Trend: Nilai metrik terus meningkat selama beberapa titik berturut-turut. Downward Trend: Nilai metrik terus menurun selama beberapa titik berturut-turut.
	Trees	Jumlah decision tree yang digunakan untuk deteksi tambahan.
	Sample size per tree	Jumlah sampel data yang digunakan dari data yang diamati saat membangun decision tree untuk deteksi anomali.
	Overall anomaly rate	Perkiraan proporsi data anomali dalam deret waktu. Rentang yang wajar adalah [0,001, 0,01].
	Minimum window of anomaly type check	Panjang minimum urutan yang diamati untuk menangkap pola anomali deret waktu.
	Maximum window of anomaly type check	Panjang maksimum urutan yang diamati untuk menangkap pola anomali deret waktu.
	Minimum window for anomaly confirmation	Panjang minimum urutan yang akan dideteksi saat menangkap pola anomali deret waktu.
	Maximum window for anomaly confirmation	Panjang maksimum urutan yang akan dideteksi saat menangkap pola anomali deret waktu.
Single-dimension feature configuration	-	Konfigurasikan setiap fitur dari deret waktu yang akan dideteksi. Ini mencakup hal-hal berikut: Maximum value: Nilai maksimum metrik fitur. Minimum value: Nilai minimum metrik fitur. Normalization: Metode yang digunakan untuk menormalisasi urutan saat mendeteksi fitur ini. Anomaly attention type: Jenis pola anomali yang difokuskan saat mendeteksi fitur ini.
Notification sensitivity configuration	-	Konfigurasikan ambang batas notifikasi berbeda untuk anomali yang terdeteksi pada periode waktu berbeda. Misalnya, Anda dapat mengabaikan anomali yang terjadi selama maintenance mingguan terjadwal.

Stream decomposition algorithm

Konfigurasikan algoritma.

Parameter	Subparameter	Deskripsi
Automatic periodic detection	-	Mengaktifkan deteksi otomatis periode deret waktu. Ini cocok untuk data deret waktu yang memiliki musiman. Jika musiman konsisten, kami menyarankan Anda menonaktifkan fitur ini dan mengatur panjang periode secara manual.
Periodic detection frequency	-	Berlaku saat Automatic periodic detection diaktifkan. Algoritma memperbarui periode deret waktu secara berkala sesuai frekuensi yang ditentukan. Misalnya, jika frekuensinya 12 jam, algoritma mendeteksi dan memperbarui periode setiap 12 jam.
Period length	-	Berlaku saat Automatic periodic detection dinonaktifkan. Atur durasi periode urutan. Jika urutan tidak memiliki periode, atur nilai ini ke 0.
Observation length	-	Panjang data historis yang digunakan untuk deteksi anomali. Jika urutan mengandung musiman, kami menyarankan panjang observasi tiga kali lipat panjang periode urutan. Misalnya, jika periode urutan adalah 1 hari, atur panjang observasi menjadi 3 hari.
Sensitivity	-	Semakin tinggi sensitivitas, semakin banyak anomali yang terdeteksi dan semakin tinggi skor anomali. Hal ini meningkatkan tingkat recall tetapi dapat menurunkan presisi.
Advanced parameters	Trend component sensitivity	Algoritma mendekomposisi urutan menjadi komponen trend, seasonal, dan noise. Semakin tinggi sensitivitas untuk komponen trend, semakin banyak anomali yang terdeteksi dan semakin tinggi skor anomali selama deteksi anomali komponen trend. Hal ini meningkatkan tingkat recall tetapi dapat menurunkan presisi.
	Noise component sensitivity	Algoritma mendekomposisi urutan menjadi komponen trend, seasonal, dan noise. Semakin tinggi sensitivitas untuk komponen noise, semakin banyak anomali yang terdeteksi dan semakin tinggi skor anomali selama deteksi anomali komponen noise. Hal ini meningkatkan tingkat recall tetapi dapat menurunkan presisi.
	Trend component sampling step	Algoritma mendekomposisi urutan menjadi komponen trend, seasonal, dan noise. Jika panjang observasi urutan terlalu panjang, analisis komponen trend bisa lambat. Langkah pengambilan sampel yang lebih besar untuk komponen trend mempercepat analisis tetapi dapat mengurangi akurasi deteksi. Misalnya, jika Anda mengatur langkah pengambilan sampel komponen trend ke 8, satu titik data diambil setiap delapan titik dalam urutan asli untuk analisis trend.
	Seasonal component sampling step	Algoritma mendekomposisi urutan menjadi komponen trend, seasonal, dan noise. Jika panjang observasi urutan terlalu panjang, analisis komponen seasonal bisa lambat. Langkah pengambilan sampel yang lebih besar untuk komponen seasonal mempercepat analisis tetapi dapat mengurangi akurasi deteksi. Misalnya, jika Anda mengatur langkah pengambilan sampel komponen seasonal ke 8, satu titik data diambil setiap delapan titik dalam urutan asli untuk analisis seasonal. Kami menyarankan Anda mengatur nilai ini ke 5 atau kurang.
	Window length	Jika panjang observasi urutan terlalu panjang, deteksi anomali bisa lambat. Atur panjang jendela agar algoritma deteksi memproses urutan data dalam segmen menggunakan jendela geser, yang meningkatkan kecepatan deteksi. Kami menyarankan Anda mengatur nilai ini ke 5.000 atau kurang. Jika Anda tidak ingin menggunakan jendela geser untuk deteksi, atur nilai ini ke 0.

Pada bagian pratinjau, uji algoritma dan lihat hasilnya berdasarkan pengaturan parameter saat ini.
1. Atur rentang waktu untuk menentukan waktu mulai dan akhir deret waktu yang akan dideteksi. Klik Data Query. Sistem memproses data dalam rentang ini menggunakan pernyataan kueri dari langkah Data Feature Settings untuk menghasilkan data deret waktu.
2. Pilih Entity dan Feature untuk menentukan seri fitur yang akan dideteksi. Klik Preview. Algoritma deteksi memproses seri fitur yang ditentukan dan menampilkan hasilnya di bawah. Klik Display Parameters untuk melihat konfigurasi algoritma saat ini.
3. Hasil deteksi mencakup Trend Component Preview, Seasonal Component Preview, dan Noise Component Preview. Anda dapat menyesuaikan ambang batas anomali di bagian Trend Component Preview dan Noise Component Preview. Peringatan hanya dipicu ketika skor anomali melebihi ambang batas yang sesuai.

Pada langkah Scheduling Settings, konfigurasikan parameter berikut.

Parameter	Deskripsi
Start at	Waktu mulai task membaca dan mendeteksi data.
Data latency	Penundaan maksimum yang diharapkan untuk data ditulis ke Layanan Log. Task menunggu durasi ini untuk memastikan data deret waktu lengkap tersedia.
Model start learning time	Opsi. Jika diatur, task latar belakang mulai membangun model pada waktu ini, yang harus konsisten dengan waktu mulai terjadwal task.
Model end learning time	Opsi. Jika tidak diatur, model terus belajar dan mulai deteksi setelah waktu mulai task. Jika diatur, task latar belakang berhenti memperbarui model pada waktu ini dan segera memulai deteksi.

Konfigurasi peringatan

Pada area Alert Configuration wizard konfigurasi Create Intelligent Inspection Job, lengkapi konfigurasi berikut, lalu klik Complete.

Parameter

Deskripsi

Alert Policy

Alert Policy mengelompokkan, membungkam, dan menekan peringatan yang dihasilkan.

Jika Anda memilih Simple Mode atau Standard Mode, Anda tidak perlu mengonfigurasi Alert Policy. Layanan Log menggunakan kebijakan peringatan dinamis default (sls.builtin.dynamic) untuk mengelola peringatan.
Jika Anda memilih Advanced Mode, Anda dapat memilih Alert Policy bawaan atau kustom untuk mengelola peringatan. Untuk informasi selengkapnya tentang cara membuat Alert Policy, lihat Buat Alert Policy.

Action Policy

Action Policy mengontrol cara dan kapan notifikasi peringatan dikirim, termasuk saluran dan frekuensi notifikasi.

Jika Alert Policy diatur ke Simple Mode, Anda hanya perlu mengonfigurasi action group.

Setelah Anda mengonfigurasi action group, Layanan Log secara otomatis membuat Action Policy bernama Rule Name-Action Policy. Semua peringatan yang dipicu oleh aturan peringatan ini dikirim sesuai Action Policy ini. Untuk informasi selengkapnya, lihat Saluran notifikasi.

Penting
Anda dapat memodifikasi Action Policy ini di halaman Action policies. Untuk informasi selengkapnya, lihat Action policies. Jika Anda menambahkan kondisi saat memodifikasi Action Policy, pengaturan Alert Policy secara otomatis berubah menjadi Standard Mode.
Jika Alert Policy diatur ke Standard Mode atau Advanced Mode, Anda dapat memilih Action Policy bawaan atau kustom untuk mengelola notifikasi peringatan. Untuk informasi selengkapnya tentang cara membuat Action Policy, lihat Action policies.

Jika Anda mengatur Alert Policy ke Advanced Mode, Anda juga dapat mengaktifkan atau menonaktifkan Custom Action Policy. Untuk informasi selengkapnya, lihat Mekanisme kebijakan tindakan dinamis.

Kelola task inspeksi cerdas

View jobs: Temukan pekerjaan di daftar pekerjaan dan klik ID-nya untuk melihat detail.
Edit task: Untuk mengedit task, temukan di daftar, lalu klik Edit di kolom Actions.
Hapus task: Untuk menghapus task, temukan di daftar, lalu klik Delete di kolom Actions.

Penting
Task inspeksi cerdas yang dihapus tidak dapat dipulihkan. Lakukan dengan hati-hati.

Langkah selanjutnya

Peringatan dan umpan balik