SQL aggregation for intelligent inspection - Simple Log Service

Fitur inspeksi cerdas secara otomatis dan adaptif memeriksa log layanan untuk mengidentifikasi anomali. Anda dapat menggunakan pernyataan SQL untuk mengagregasi data metrik guna mendukung inspeksi cerdas real-time.

Prasyarat

Kumpulkan log ke Logstore sumber. Untuk informasi selengkapnya, lihat Ikhtisar pengumpulan data.
Konfigurasikan indeks untuk Logstore sumber. Untuk informasi selengkapnya, lihat Buat indeks.
Buat instans Intelligent Anomaly Analysis. Untuk informasi selengkapnya, lihat Buat instans.

Buat tugas inspeksi cerdas

Buka halaman pembuatan pekerjaan

Masuk ke Konsol Simple Log Service.
1. Pada bagian Log Application, klik Intelligent Anomaly Analysis.
2. Pada daftar instans, klik instans target.
3. Pada panel navigasi kiri, klik Intelligent Inspection.
4. Klik Real-time Inspection.
5. Pada bagian Inspection Job, klik Create Now.

Informasi dasar

Pada bagian Basic Information wizard konfigurasi Create Intelligent Inspection Job, konfigurasikan parameter berikut, lalu klik Next.

Parameter	Deskripsi
Task Name	Nama tugas inspeksi cerdas.
Project	Proyek tempat Logstore atau Metricstore sumber berada.
Region	Wilayah tempat proyek yang dipilih berada.
Logstore Type	Jenis penyimpanan, ditentukan oleh lokasi data Anda. Jika data Anda disimpan di Logstore, pilih Logstore. Jika data Anda disimpan di Metricstore, pilih Metricstores.
Source Logstore	Jika Anda mengatur Logstore Type ke Logstore, Anda harus mengatur Source Logstore ke Logstore yang berisi data sumber Anda.
Metricstores	Jika Anda mengatur Logstore Type ke Metricstores, Anda harus mengatur Metricstores ke Metricstore yang berisi data sumber Anda.
Role	Jika Anda memberikan izin saat membuat instans, Nama Sumber Daya Alibaba Cloud (ARN) dari role `AliyunLogETLRole` akan ditampilkan secara otomatis.
Target Store	Logstore tujuan. Tetap pada `internal-ml-log`.

Konfigurasi fitur data

Pada bagian Data feature configuration, atur Data Type ke SQL Aggregation, masukkan pernyataan kueri dan analisis, lalu konfigurasikan parameter terkait. Untuk informasi selengkapnya, lihat Ikhtisar kueri dan Ikhtisar kueri dan analisis.

Pernyataan kueri

* | select __time__ - __time__ % 60 as time, domain, sum(request_size) as request_size from log group by time, domain limit 100000

Entity: domain
Feature: request_size

Parameter	Deskripsi
Time	Bidang waktu dari data sumber Anda. Secara default, Log Service menggunakan bidang `__time__` di Logstore.
Granularity	Interval pengamatan data, dalam detik. Nilai valid: 5 hingga 3600. Disarankan interval 60 detik atau lebih.
Entity	Bidang yang digunakan untuk mengagregasi data menjadi deret waktu.
Feature	Bidang yang mengidentifikasi fitur dalam data sumber Anda.

Konfigurasi algoritma

Pada bagian Algorithm configuration, pilih Algorithm. Anda dapat memilih Stream Graph Algorithm atau Stream Decomposition Algorithm. Parameter yang diperlukan bergantung pada algoritma yang Anda pilih.

Stream Graph Algorithm

Parameter	Subparameter	Deskripsi
Advanced parameters (required)	Time series segments	Jumlah segmen yang digunakan untuk mendiskretisasi nilai deret waktu dan membangun graf evolusi deret waktu. Nilai default: 8. Rekomendasi rentang: [5, 20]. Lebih sedikit segmen membuat deteksi anomali kurang sensitif.
	observation length	Jumlah titik data historis yang direferensikan selama deteksi anomali. Nilai default: 2880. Rekomendasi rentang: [200, 4000]. Jika deret waktu bersifat periodik, atur panjang observasi untuk mencakup minimal dua periode. Misalnya, jika interval titik data adalah 1 menit dan periode adalah 1 hari, dua periode berisi 2.880 titik data. Atur panjang observasi ke 2880 atau lebih besar.
	Period-over-period comparison length	Rentang waktu untuk analisis period-over-period, dalam hari. Selama deteksi anomali, algoritma menganalisis fitur period-over-period dari metrik. Mengatur parameter ini ke 0 akan menonaktifkan analisis period-over-period.
	Major capture type	Jenis anomali deret waktu yang difokuskan. Nilai valid: Upward Spike: Nilai metrik tiba-tiba meningkat pada satu titik. Downward Spike: Nilai metrik tiba-tiba menurun pada satu titik. Upward Shift: Nilai metrik terus-menerus meningkat ke level yang lebih tinggi selama beberapa titik. Downward Shift: Nilai metrik terus-menerus menurun ke level yang lebih rendah selama beberapa titik. Upward Trend: Nilai metrik terus-menerus meningkat selama beberapa titik. Downward Trend: Nilai metrik terus-menerus menurun selama beberapa titik.
	Trees	Jumlah pohon keputusan yang digunakan oleh algoritma deteksi anomali.
	Sample size per tree	Jumlah sampel data dari data yang diamati yang digunakan untuk membangun setiap pohon keputusan.
	Overall anomaly rate	Perkiraan proporsi data anomali dalam deret waktu. Rekomendasi rentang: [0,001, 0,01].
	Minimum window of anomaly type check	Panjang minimum urutan pengamatan yang direferensikan saat mengidentifikasi jenis anomali.
	Maximum window of anomaly type check	Panjang maksimum urutan pengamatan yang direferensikan saat mengidentifikasi jenis anomali.
	Minimum window for anomaly confirmation	Panjang minimum urutan yang diperiksa saat mengonfirmasi jenis anomali.
	Maximum window for anomaly confirmation	Panjang maksimum urutan yang diperiksa saat mengonfirmasi jenis anomali.
Single-dimension feature configuration	-	Konfigurasikan setiap fitur deret waktu yang akan diperiksa. Pengaturan meliputi: Maximum Value: Batas atas untuk fitur ini. Minimum Value: Batas bawah untuk fitur ini. Normalization: Metode normalisasi untuk memeriksa deret fitur ini. Anomaly focus type: Pola anomali yang difokuskan selama deteksi untuk deret fitur.
Notification Sensitivity Configuration	-	Konfigurasikan ambang batas notifikasi berbeda untuk event abnormal yang terdeteksi selama periode waktu berbeda. Misalnya, Anda dapat mengabaikan event abnormal selama maintenance berkala mingguan.

Stream decomposition algorithm

Konfigurasikan algoritma.

Parameter	Subparameter	Deskripsi
Automatic period detection	-	Aktifkan deteksi periode otomatis untuk data deret waktu yang memiliki pola periodik. Jika deret waktu memiliki periode tetap, nonaktifkan fitur ini dan atur panjang periode secara manual.
Period detection frequency	-	Parameter ini berlaku ketika deteksi periode otomatis diaktifkan. Algoritma memperbarui periode deret waktu dengan frekuensi yang ditentukan. Misalnya, jika Anda mengatur frekuensi deteksi periode ke 12 jam, algoritma mendeteksi dan memperbarui periode deret setiap 12 jam.
Period length	-	Parameter ini berlaku ketika deteksi periode otomatis dinonaktifkan. Atur panjang periode deret. Jika deret tidak memiliki periode, atur nilai ini ke 0.
Observation length	-	Panjang data historis yang direferensikan untuk deteksi anomali. Jika deret bersifat periodik, atur panjang observasi menjadi tiga kali panjang periode. Misalnya, jika deret memiliki panjang periode 1 hari, atur panjang observasi ke 3 hari.
Sensitivity	-	Nilai sensitivitas yang lebih tinggi menghasilkan lebih banyak anomali yang terdeteksi dan skor anomali yang lebih tinggi. Hal ini meningkatkan tingkat recall untuk anomali tetapi menurunkan tingkat presisi.
Advanced parameters	Trend component sensitivity	Algoritma mendekomposisi deret menjadi komponen tren, periodisitas, dan kebisingan. Parameter ini menyesuaikan sensitivitas untuk deteksi anomali pada komponen tren. Nilai yang lebih tinggi menghasilkan lebih banyak anomali yang terdeteksi dan skor anomali yang lebih tinggi, yang meningkatkan tingkat recall tetapi menurunkan tingkat presisi.
	Noise component sensitivity	Algoritma mendekomposisi deret menjadi komponen tren, periodisitas, dan kebisingan. Parameter ini menyesuaikan sensitivitas untuk deteksi anomali pada komponen kebisingan. Nilai yang lebih tinggi menghasilkan lebih banyak anomali yang terdeteksi dan skor anomali yang lebih tinggi, yang meningkatkan tingkat recall tetapi menurunkan tingkat presisi.
	Trend component sample length	Algoritma mendekomposisi deret menjadi komponen tren, periodisitas, dan kebisingan. Jika panjang observasi terlalu panjang, analisis tren bisa lambat. Panjang sampel yang lebih panjang mempercepat analisis tetapi dapat mengurangi akurasi. Misalnya, jika panjang sampel adalah 8, algoritma menganalisis satu titik data untuk setiap 8 titik dalam deret asli.
	Periodicity component sample length	Algoritma mendekomposisi deret menjadi komponen tren, periodisitas, dan kebisingan. Jika panjang observasi terlalu panjang, analisis periodisitas bisa lambat. Panjang sampel yang lebih panjang mempercepat analisis tetapi dapat mengurangi akurasi. Misalnya, jika panjang sampel adalah 8, algoritma menganalisis satu titik data untuk setiap 8 titik dalam deret asli. Atur nilai ini ke 5 atau kurang.
	Window length	Jika panjang observasi deret terlalu panjang, deteksi anomali bisa lambat. Atur panjang jendela untuk membuat algoritma deteksi menggunakan jendela geser. Algoritma mendeteksi anomali dalam segmen deret data, yang meningkatkan kecepatan deteksi. Atur nilai ini ke 5000 atau kurang. Jika Anda tidak perlu menggunakan jendela geser, atur nilai ini ke 0.

Pratinjau kinerja algoritma dengan pengaturan parameter saat ini.
1. Atur rentang waktu untuk menentukan waktu mulai dan akhir deret waktu. Klik Data Query. Pernyataan kueri dan analisis yang Anda atur di Data Feature Settings digunakan untuk memproses data dalam rentang waktu yang ditentukan dan menghasilkan data deret waktu.
2. Pilih Entity Information dan Feature untuk menentukan deret fitur untuk deteksi. Klik Preview. Algoritma deteksi memproses deret fitur yang ditentukan dan menampilkan hasilnya di bawah. Klik Show Parameters untuk melihat pengaturan parameter saat ini untuk algoritma.
3. Hasil deteksi menunjukkan Trend Component Preview, Periodicity Component Preview, dan Noise Component Preview. Sesuaikan ambang batas anomali di Trend Component Preview dan Noise Component Preview. Hanya event anomali dengan skor lebih besar dari ambang batas yang dapat menghasilkan alert.

Pada area Scheduling Settings, lengkapi pengaturan berikut.

Parameter	Deskripsi
Start time	Waktu mulai untuk deret waktu yang diproses algoritma. Tugas membaca data deret waktu dan melakukan deteksi dari titik ini.
Data latency duration	Penundaan maksimum untuk menulis data deret waktu ke Log Service. Tugas menunggu durasi ini sebelum membaca data, memastikan bahwa data deret waktu lengkap tersedia.
Model training start time	Opsional. Jika diatur, tugas latar belakang mulai pelatihan model setelah waktu ini. Default ke waktu mulai terjadwal tugas.
Model training end time	Opsional. Jika tidak diatur, model belajar secara terus-menerus dan mulai deteksi setelah waktu mulai pelatihan model. Jika diatur, tugas latar belakang berhenti memperbarui model pada waktu ini dan segera mulai deteksi.

Konfigurasi Peringatan

Pada wizard Create Intelligent Inspection Job di bagian Alert Configuration, konfigurasikan parameter berikut, lalu klik Complete.

Parameter

Deskripsi

Alert policy

Menggabungkan, membungkam, dan menekan alert yang dihasilkan.

Jika Anda memilih mode Simple Mode atau mode Standard, Anda tidak perlu mengonfigurasi kebijakan alert. Log Service secara default menggunakan kebijakan alert dinamis bawaan SLS (sls.builtin.dynamic) untuk manajemen alert.
Jika Anda memilih mode Advanced Mode, Anda dapat memilih kebijakan alert bawaan atau kustom untuk manajemen alert. Untuk informasi selengkapnya, lihat Buat kebijakan alert.

Action policy

Mengontrol saluran dan frekuensi notifikasi alert.

Ketika Alert Policy diatur ke Simple Mode, cukup konfigurasikan kelompok tindakan.

Setelah Anda mengonfigurasi kelompok tindakan, Log Service secara otomatis membuat kebijakan tindakan bernama Rule Name-Action Policy. Kebijakan tindakan ini mengirimkan notifikasi untuk semua alert yang dipicu oleh aturan pemantauan alert. Untuk informasi selengkapnya, lihat Saluran notifikasi.

Penting
Anda dapat memodifikasi kebijakan tindakan ini di halaman manajemen Kebijakan Tindakan. Untuk informasi selengkapnya, lihat Kebijakan tindakan. Jika Anda menambahkan kondisi saat memodifikasi kebijakan tindakan, Alert Policy secara otomatis berubah menjadi Standard.
Ketika Alert Policy diatur ke Standard atau Advanced Mode, Anda dapat memilih kebijakan tindakan bawaan atau kustom untuk notifikasi alert. Untuk informasi selengkapnya, lihat Kebijakan tindakan.

Ketika Anda mengatur Alert Policy ke Advanced Mode, Anda juga dapat mengaktifkan atau menonaktifkan Custom Action Policy. Untuk informasi selengkapnya, lihat Mekanisme kebijakan tindakan dinamis.

Kelola tugas inspeksi cerdas

Lihat tugas: Di daftar tugas, klik ID tugas target untuk melihat detailnya.
Edit tugas: Di daftar tugas, temukan tugas target dan klik ikon Edit di kolom Actions untuk mengubah konfigurasi tugas.
Hapus tugas: Di daftar tugas, temukan tugas target dan klik ikon Delete di kolom Actions.

Penting
Tugas inspeksi cerdas yang dihapus tidak dapat dipulihkan. Lanjutkan dengan hati-hati.

Langkah berikutnya

Alert dan umpan balik tag