Cara kerja pemeriksaan kesehatan cerdas - Simple Log Service

Fitur deteksi anomali cerdas dari Simple Log Service menyediakan kemampuan pelatihan model dan pemeriksaan kesehatan real-time, serta mendukung pelatihan model dan deteksi anomali yang otomatis, cerdas, serta adaptif untuk data seperti log dan metric.

Penting

Mulai 15 Juli 2025 (UTC+8), fitur analisis anomali cerdas tidak akan lagi tersedia untuk pengguna baru. Pengguna yang sudah ada dapat terus menggunakannya.

Lingkup dampak

Fitur inti berikut ini akan dihentikan: pemeriksaan kesehatan cerdas, analitik teks, dan peramalan deret waktu.
Solusi Migrasi Fitur

Sintaksis machine learning, fitur kueri dan analisis terjadwal (scheduled SQL), serta fitur dashboard dari SLS dapat sepenuhnya menggantikan fitur-fitur yang dihentikan tersebut.

Informasi latar belakang

Data berbasis waktu, seperti log dan metric, terakumulasi seiring berjalannya waktu. Misalnya, jika suatu layanan menghasilkan 10 juta entri data per hari, total akumulasinya mencapai 3,6 miliar entri data per tahun. Jika Anda menggunakan aturan tetap untuk memeriksa data tersebut, Anda mungkin menghadapi masalah berikut:

Efisiensi rendah: Anda harus mengonfigurasi berbagai aturan secara manual untuk mengidentifikasi dan menangkap anomali.
Ketepatan waktu buruk: Sebagian besar data deret waktu bersifat sensitif terhadap waktu. Gangguan dan perubahan memengaruhi pola metric, sehingga anomali yang diidentifikasi oleh aturan tertentu mungkin dianggap normal pada waktu berikutnya.
Konfigurasi sulit: Data deret waktu hadir dalam berbagai bentuk, seperti lonjakan (spike), titik balik (turning points), dan perubahan periodik. Rentang ambang batas juga bervariasi, sehingga konfigurasi aturan sering kali sulit dilakukan untuk pola yang kompleks.
Kinerja buruk: Aliran data berubah secara dinamis dan model bisnis berkembang pesat, sehingga aturan tetap menjadi tidak efektif dalam skenario bisnis baru. Hal ini dapat menyebabkan banyak false positive atau false negative. Toleransi terhadap anomali berbeda-beda di berbagai skenario dan pengguna. Saat melakukan troubleshooting, menangkap lebih banyak titik anomali yang valid membantu investigasi. Saat menangani alert, jumlah titik anomali yang lebih sedikit namun lebih penting meningkatkan efisiensi pemrosesan alert.

Untuk mengatasi masalah-masalah tersebut, Simple Log Service menyediakan fitur pemeriksaan kesehatan cerdas. Fitur ini menggunakan algoritma AI eksklusif untuk mengagregasi, memeriksa, dan membuat notifikasi untuk data streaming seperti log dan metric. Anda hanya perlu menentukan item yang dipantau; model algoritma secara otomatis mendeteksi anomali, beradaptasi terhadap perubahan bisnis, dan menyempurnakan alert tanpa perlu konfigurasi aturan manual.

Cara kerja

Simple Log Service menggunakan Pernyataan SQL untuk membangun dan mengagregasi metric pemantauan. Layanan ini menarik data ke dalam model secara berkala berdasarkan aturan penjadwalan, menulis hasil pemeriksaan kesehatan ke Logstore tujuan (internal-ml-log) berdasarkan standar event, dan mengirim Pemberitahuan peringatan untuk anomali.

Fitur

Pemeriksaan kesehatan cerdas menyediakan fitur-fitur berikut.

Fitur	Deskripsi
Konfigurasikan objek yang dipantau	Gunakan SQL atau pernyataan kueri dan analisis untuk mengonversi data log menjadi metric pemantauan dan memulai task.
Analisis data secara berkala	Konfigurasikan fitur data, bidang entitas, dan bidang metric sesuai kebutuhan. Instans pemeriksaan kesehatan secara otomatis menemukan entitas yang dipantau baru, menarik data secara berkala, dan melakukan pemodelan serta analisis cerdas otomatis. Model mendukung interval tarik hingga satu detik.
Pengaturan parameter dan pratinjau kinerja model	Pratinjau efek dari berbagai parameter model, dan visualisasikan kurva deret waktu metric serta kurva skor anomali. Hal ini membantu Anda mengonfigurasi parameter model yang paling sesuai dengan fitur data Anda.
Output hasil multi-channel	Hasil pemeriksaan kesehatan disimpan di Logstore tujuan. Informasi anomali dikirimkan kepada Anda melalui Pemberitahuan peringatan.

Istilah

Tabel berikut menjelaskan istilah kunci yang digunakan dalam pemeriksaan kesehatan cerdas.

Istilah	Deskripsi
Task	Task pemeriksaan kesehatan mencakup informasi seperti fitur data, parameter model, dan kebijakan alert.
Instance	Task pemeriksaan kesehatan menghasilkan instans eksekusi berdasarkan konfigurasi task. Setiap instans menarik data, menjalankan model algoritma, dan mendistribusikan hasil pemeriksaan kesehatan secara berkala berdasarkan konfigurasi task. Satu task hanya menghasilkan satu instans. Beberapa instans tidak dapat berjalan secara bersamaan, bahkan jika instans dijadwalkan secara normal atau dicoba ulang karena anomali. Peningkatan panas (hot upgrade) untuk parameter tidak didukung. Jika Anda mengubah konfigurasi task, task pemeriksaan kesehatan akan membuat instans baru untuk menjalankan model algoritma. Instans baru ini independen dari instans sebelumnya. Untuk informasi selengkapnya tentang bagaimana operasi berbeda memengaruhi penjadwalan dan eksekusi instans, lihat Skenario penjadwalan dan eksekusi.
ID Instans	Pengidentifikasi unik dari instans eksekusi.
Waktu pembuatan	Waktu saat instans dibuat. Instans biasanya dibuat berdasarkan aturan task yang Anda konfigurasi. Instans dibuat segera untuk eksekusi backfill atau untuk mengejar keterlambatan.
Runtime	Waktu saat instans mulai berjalan. Jika task dicoba ulang, ini adalah waktu mulai dari eksekusi terakhir.
Waktu selesai	Waktu saat instans selesai berjalan. Jika task dicoba ulang, ini adalah waktu selesai dari eksekusi terakhir.
Status eksekusi	Status eksekusi instans. Nilai yang valid: Berjalan (RUNNING) Mencoba ulang (STARTING) Berhasil (SUCCEEDED) Gagal (FAILED)
Fitur data	Fitur data mencakup konfigurasi berikut: Rentang pengamatan: Interval waktu untuk pengamatan dan pengumpulan data. Ini juga merupakan interval untuk analisis algoritma. Dihasilkan oleh aturan task dan tidak terpengaruh oleh timeout, keterlambatan, atau eksekusi backfill dari instans sebelumnya. Dalam sebagian besar skenario, rentang pengamatan aliran data stabil. Interval dapat sesingkat satu detik. Bidang waktu: Bidang dalam data yang menunjukkan waktu nilai yang diamati. Anda hanya dapat menentukan satu bidang waktu. Bidang entitas: Bidang dalam data yang menunjukkan entitas yang diamati tertentu. Bidang fitur: Bidang dalam data yang menunjukkan nilai yang diamati tertentu. Anda dapat mengonfigurasi beberapa bidang fitur. Anda juga dapat mengonfigurasi rentang nilai untuk setiap fitur guna membimbing model agar melakukan deteksi anomali yang lebih akurat.
Konfigurasi algoritma	Algoritma yang berbeda memiliki item konfigurasi yang berbeda. Untuk informasi selengkapnya tentang item konfigurasi setiap algoritma, lihat Gunakan SQL untuk mengagregasi data metric guna deteksi real-time.
Event inspeksi	Event pemeriksaan kesehatan mencakup informasi berikut: Informasi entitas: Mengidentifikasi sumber data dari hasil pemeriksaan kesehatan saat ini. Informasi konfigurasi: Mengidentifikasi konfigurasi task dari hasil pemeriksaan kesehatan saat ini. Skor anomali: Hasil kuantitatif dari model untuk tingkat keparahan anomali. Nilainya berkisar antara 0 hingga 1. Pemberitahuan peringatan dikirim jika skor anomali lebih besar dari 0,75. Jenis anomali: Jenis awal anomali yang ditentukan oleh model. Terdapat lima jenis: spike, shift, jitter, missing, dan over-threshold.

Skenario penjadwalan dan eksekusi

Tabel berikut menjelaskan skenario penjadwalan dan eksekusi umum untuk task pemeriksaan kesehatan.

Skenario	Deskripsi
Memulai task pemeriksaan kesehatan dari titik waktu historis	Setelah Anda membuat task pemeriksaan kesehatan, task tersebut memproses data historis berdasarkan aturan task. Model algoritma dengan cepat mengonsumsi data historis, melakukan pelatihan model, dan secara bertahap mengejar ketertinggalan hingga waktu saat ini. Setelah mencapai waktu pembuatan task atau waktu akhir pembelajaran model, event pemeriksaan kesehatan dihasilkan.
Ubah konfigurasi penjadwalan	Setelah Anda mengubah konfigurasi penjadwalan, instans berikutnya dihasilkan berdasarkan konfigurasi baru. Model algoritma mengingat waktu konsumsi saat ini dan melanjutkan pemeriksaan data baru.
Coba ulang instans yang gagal	Jika instans gagal karena masalah seperti izin yang tidak mencukupi, database sumber atau tujuan yang tidak ada, atau konfigurasi yang tidak valid, sistem akan mencoba ulang secara otomatis. Jika status tetap Starting, konfigurasi mungkin salah. Log error ditulis ke Logstore internal-etl-log. Periksa konfigurasi dan restart task. Setelah penjadwalan dan eksekusi berhasil, sistem memperbarui status instans menjadi Succeeded atau Failed berdasarkan hasilnya.

Rekomendasi penggunaan

Untuk memaksimalkan manfaat pemeriksaan kesehatan cerdas, ikuti rekomendasi berikut:

Sebelum mengonfigurasi task pemeriksaan kesehatan, pahami format data di Logstore, klarifikasi makna bidang-bidangnya, dan tentukan rentang pengamatan.
Untuk mengonfigurasi parameter algoritma secara efektif, pahami perubahan data deret waktu dari objek yang Anda pantau, termasuk stabilitas dan periodisitasnya, serta miliki ekspektasi awal mengenai pola anomali.
Sejajarkan jendela waktu task pemeriksaan kesehatan dengan satuan waktu utuh, seperti detik, menit, atau jam bulat. Hal ini memastikan ketepatan waktu notifikasi event anomali dan akurasi korelasi multi-event.

Pelatihan model

Anda dapat menggunakan pelatihan model untuk meningkatkan pembelajaran anomali dan meningkatkan akurasi alert anomali di masa depan. Pelatihan model memberikan keuntungan berikut.

Jika akurasi deteksi anomali tidak memenuhi ekspektasi Anda hanya dengan fitur pemeriksaan kesehatan real-time, gunakan task pelatihan model untuk meningkatkannya.
Jika anomali yang terdeteksi oleh task pemeriksaan kesehatan real-time berbeda dari apa yang Anda anggap anomali, jalankan task pelatihan model terlebih dahulu untuk mendeteksi jenis anomali yang dibutuhkan secara adaptif.

Proses dasar

Input data: Berikan data yang diperlukan untuk layanan pelatihan model. Ini mencakup data metric berlabel dan tidak berlabel. Data ini disimpan di Simple Log Service dan harus diambil menggunakan kueri SQL. Data metric berlabel dapat dikirim langsung ke layanan algoritma. Data metric tidak berlabel harus diberi label menggunakan simulasi injeksi anomali sebelum dikirim ke layanan algoritma.
Layanan algoritma: Layanan ini terdiri dari dua bagian utama: rekayasa fitur dan model supervised. Dalam layanan algoritma, model dilatih untuk setiap entitas. ID entitas digunakan untuk mengidentifikasi model yang sesuai.
Penyimpanan dan visualisasi hasil: Setelah task pelatihan model selesai, sistem menyimpan model yang telah dilatih di cloud. Sistem juga menyimpan hasil validasi set data dan event dari eksekusi task sebagai log di Logstore bernama internal-ml-log. Anda juga dapat melihat hasil visualisasi di detail task.
Buat task prediksi: Setelah task pelatihan model selesai, Anda memperoleh model yang telah dilatih untuk setiap entitas dalam task tersebut. Anda kemudian dapat membuat task prediksi untuk melakukan deteksi anomali real-time pada data metric di masa depan. Gunakan tool pelabelan Simple Log Service untuk memberi label hasilnya, peroleh lebih banyak data berlabel, dan latih ulang model secara berulang untuk meningkatkan akurasinya.

Ikhtisar layanan algoritma

Layanan algoritma terdiri dari tiga bagian utama berikut.

Set data: Set data dibangun berdasarkan rentang waktu tertentu dan dibagi menjadi set pelatihan dan set validasi.

Set pelatihan harus mencakup periode lebih dari 12 hari karena task pelatihan model memerlukan data historis satu minggu sebagai prasyarat untuk rekayasa fitur. Set validasi harus mencakup periode lebih dari 3 hari karena diperlukan data tiga hari untuk menghasilkan laporan validasi yang lebih baik menjelaskan kesesuaian, ketangguhan, dan kinerja model.
Rekayasa fitur: Ini mencakup fitur perbandingan periodik, fitur shift, fitur tren, fitur jendela, dan fitur waktu.
Model ensemble: Model ensemble dibangun dengan mengintegrasikan beberapa model berbasis pohon.