Aplikasi Analisis Anomali Cerdas dari Simple Log Service menyediakan fitur pelatihan model dan inspeksi real-time. Fitur ini mendukung pelatihan model otomatis, cerdas, dan adaptif serta deteksi anomali untuk data seperti log dan metrik. Topik ini menjelaskan informasi latar belakang, alur kerja, fitur, istilah, penjadwalan, dan skenario penggunaan fitur inspeksi cerdas, serta memberikan saran tentang cara menggunakannya.
Aplikasi Analisis Anomali Cerdas di Simple Log Service akan dihentikan dan tidak tersedia lagi mulai 15 Juli 2025 (UTC+8).
Ruang Lingkup Dampak
Fitur inspeksi cerdas, analisis teks, dan peramalan deret waktu tidak akan tersedia lagi.
Penggantian Fitur
Fitur-fitur tersebut dapat digantikan sepenuhnya oleh sintaks pembelajaran mesin, SQL terjadwal, dan dashboard dari Simple Log Service. Dokumentasi tambahan akan disediakan untuk membantu Anda mengonfigurasi pengaturan terkait fitur.
Informasi Latar Belakang
Data berbasis waktu, seperti log dan metrik, dapat menumpuk seiring waktu. Sebagai contoh, jika 10 juta entri data dihasilkan per hari untuk suatu layanan, total 3,6 miliar entri data akan terakumulasi dalam setahun. Jika Anda menggunakan aturan deterministik untuk memeriksa entri data, Anda mungkin menghadapi masalah berikut:
Efisiensi rendah: Untuk mengidentifikasi anomali, Anda harus secara manual mengonfigurasi berbagai aturan pemeriksaan sesuai dengan kebutuhan bisnis Anda.
Ketepatan waktu rendah: Sebagian besar data deret waktu bersifat sensitif terhadap waktu. Kesalahan dan perubahan memengaruhi pola dalam tampilan metrik. Anomali yang diidentifikasi pada waktu saat ini berdasarkan aturan tertentu mungkin dianggap normal pada waktu berikutnya.
Konfigurasi kompleks: Data deret waktu hadir dalam berbagai bentuk, seperti lonjakan, perubahan titik balik, dan perubahan periodik. Data deret waktu dari berbagai jenis data dapat memiliki rentang ambang batas yang berbeda. Anda mungkin perlu menghabiskan banyak waktu untuk mengonfigurasi aturan pemeriksaan guna mengidentifikasi anomali dalam data deret waktu.
Akurasi rendah: Aliran data bervariasi berdasarkan model bisnis. Aturan pemeriksaan deterministik dapat menghasilkan banyak positif palsu dan negatif palsu. Pengguna memiliki tingkat toleransi yang berbeda untuk anomali dalam skenario yang berbeda. Saat menangani anomali, notifikasi akurat dapat membantu Anda mengidentifikasi masalah. Namun, saat menangani notifikasi, hanya notifikasi penting yang dapat meningkatkan efisiensi penanganan.
Untuk menyelesaikan masalah-masalah ini, Simple Log Service menyediakan fitur inspeksi cerdas. Fitur ini terintegrasi dengan algoritma AI eksklusif Alibaba Cloud untuk mengumpulkan, memeriksa, dan menghasilkan notifikasi untuk data streaming seperti log dan metrik. Setelah mengaktifkan fitur ini, Anda hanya perlu menentukan entitas dan metrik yang ingin diperiksa tanpa harus mengonfigurasi aturan pemeriksaan. Fitur ini dapat secara otomatis mengidentifikasi anomali, beradaptasi dengan perubahan bisnis Anda, dan menghasilkan notifikasi granular halus.
Cara Kerjanya
Simple Log Service menggunakan Pernyataan SQL untuk membangun dan mengumpulkan metrik, menarik data ke dalam model algoritma pada interval reguler berdasarkan aturan penjadwalan, menulis hasil pemeriksaan ke logstore tujuan (internal-ml-log) dalam format acara, dan mengirimkan notifikasi peringatan untuk anomali. Gambar berikut menunjukkan alur kerja.
Fitur
Tabel berikut menjelaskan fungsionalitas fitur inspeksi cerdas.
Fitur | Deskripsi |
Konfigurasikan metrik | Anda dapat mengonfigurasi Pernyataan SQL atau pernyataan analisis kueri untuk mengonversi data log menjadi metrik dan membuat tugas. |
Menganalisis data secara berkala | Anda dapat mengonfigurasi fitur data berdasarkan entitas dan metrik yang ingin Anda periksa. Setelah instance inspeksi cerdas dibuat, instance tersebut secara otomatis menemukan entitas baru, dan mengumpulkan serta memasukkan data entitas ke dalam model algoritma terkait secara berkala untuk menganalisis data secara cerdas. Interval di mana instance inspeksi cerdas mengumpulkan dan memasukkan data dapat akurat hingga detik. |
Konfigurasikan parameter dan pratinjau hasil yang dihasilkan oleh model algoritma | Setelah Anda mengonfigurasi parameter model algoritma, Anda dapat melihat pratinjau hasil yang dihasilkan oleh model algoritma. Anda juga dapat melihat kurva deret waktu dan kurva skor anomali untuk setiap metrik. Fitur inspeksi cerdas membantu Anda mengonfigurasi parameter model algoritma berdasarkan fitur data Anda. |
Ekspor data menggunakan beberapa metode | Hasil pemeriksaan disimpan di logstore tujuan yang Anda tentukan. Informasi anomali dikirim kepada Anda melalui notifikasi peringatan. |
Istilah
Tabel berikut menjelaskan istilah yang terkait dengan fitur inspeksi cerdas.
Istilah | Deskripsi |
Tugas | Tugas inspeksi cerdas mencakup informasi seperti fitur data, parameter model, dan kebijakan peringatan. |
Instance | Tugas inspeksi cerdas membuat instance berdasarkan konfigurasi tugas. Instance tersebut menarik data, menjalankan model algoritma, dan mendistribusikan hasil pemeriksaan pada interval reguler berdasarkan konfigurasi tugas.
|
ID Instance | Setiap instance inspeksi cerdas diidentifikasi oleh ID unik. |
Waktu Pembuatan | Setiap instance dibuat pada titik waktu tertentu. Dalam kebanyakan kasus, instance dibuat berdasarkan aturan penjadwalan yang Anda tentukan. Jika data historis perlu diproses atau jika ada latensi yang perlu dikompensasi, instance segera dibuat. |
Waktu Mulai | Setiap instance inspeksi cerdas mulai berjalan pada titik waktu tertentu. Jika pekerjaan diulang, waktu mulai adalah waktu ketika instance terakhir dari pekerjaan mulai berjalan. |
Waktu Selesai | Setiap instance inspeksi cerdas berhenti berjalan pada titik waktu tertentu. Jika pekerjaan tempat instance tersebut milik diulang, waktu selesai adalah waktu terbaru ketika instance berhenti berjalan. |
Status | Setiap instance inspeksi cerdas berada dalam status tertentu pada titik waktu tertentu. Nilai valid:
|
Fitur Data | Fitur data mencakup item berikut:
|
Konfigurasi Algoritma | Algoritma yang berbeda memiliki item konfigurasi yang berbeda. Untuk informasi tentang item konfigurasi setiap algoritma, lihat Deteksi anomali secara real-time dengan mengumpulkan metrik menggunakan Pernyataan SQL. |
Acara Pemeriksaan | Setiap acara pemeriksaan mencakup item berikut:
|
Penjadwalan dan Skenario Penggunaan
Tabel berikut menjelaskan penjadwalan dan skenario tugas inspeksi cerdas.
Skenario | Deskripsi |
Memulai tugas inspeksi cerdas pada titik waktu historis | Setelah membuat tugas inspeksi cerdas pada titik waktu saat ini, tugas tersebut memproses data historis berdasarkan aturan tugas. Model algoritma dengan cepat mengonsumsi data historis, melatih model, dan secara bertahap menyusul waktu saat ini. Setelah waktu pembuatan tugas atau waktu akhir pembelajaran model tercapai, acara pemeriksaan dihasilkan. |
Mengubah aturan penjadwalan pekerjaan inspeksi cerdas | Setelah mengubah aturan penjadwalan pekerjaan, pekerjaan tersebut menghasilkan instance berdasarkan aturan penjadwalan baru. Model algoritma mencatat titik waktu sebelum semua data historis dianalisis dan terus menganalisis data terbaru. |
Mencoba ulang instance inspeksi cerdas yang gagal berjalan | Jika instance gagal berjalan karena masalah seperti izin tidak cukup, logstore sumber tidak tersedia, logstore tujuan tidak tersedia, atau konfigurasi tidak valid, Simple Log Service dapat secara otomatis mencoba ulang untuk menjalankan instance. Jika instance macet dalam status STARTING, konfigurasi instance mungkin gagal. Simple Log Service menghasilkan log kesalahan dan mengirimkan log ke logstore internal-etl-log. Anda dapat memverifikasi konfigurasi instance dan memulai ulang instance. Setelah instance dijadwalkan dan dijalankan, Simple Log Service mengubah status instance menjadi SUCCEEDED atau FAILED berdasarkan hasil percobaan ulang. |
Rekomendasi
Kami merekomendasikan agar Anda menentukan metrik yang ingin diperiksa berdasarkan kebutuhan bisnis Anda. Dengan cara ini, Anda dapat meningkatkan efisiensi inspeksi cerdas. Berikut adalah beberapa aturan yang dapat diterapkan:
Tentukan format data yang diunggah ke logstore tertentu, definisikan bidang untuk data, dan tentukan granularitas observasi. Ini adalah operasi dasar yang harus dilakukan untuk mengonfigurasi tugas inspeksi cerdas.
Peroleh perubahan data metrik entitas yang ditentukan, pahami stabilitas dan periodisitas data metrik, dan rumuskan harapan awal untuk anomali. Operasi ini membantu Anda mengonfigurasi parameter model algoritma.
Sejajarkan granularitas observasi ke detik bulat, menit bulat, atau jam bulat. Dengan cara ini, Anda dapat menerima peringatan akurat secara tepat waktu.
Pelatihan Model
Anda dapat menggunakan pelatihan model untuk memperkuat pembelajaran dalam deteksi anomali dan meningkatkan akurasi peringatan untuk deteksi anomali. Pelatihan model memiliki manfaat berikut:
Jika hanya menggunakan pemeriksaan real-time, akurasi deteksi anomali mungkin tidak memenuhi harapan Anda. Dalam hal ini, Anda dapat meningkatkan akurasi dengan menggunakan tugas pelatihan model.
Jika ada nilai GAP antara anomali yang dideteksi oleh tugas pemeriksaan real-time dan anomali yang diprediksi, kami merekomendasikan agar Anda menjalankan tugas pelatihan model untuk mendeteksi anomali berdasarkan kebutuhan bisnis Anda.
Proses
Masukan Data: Tulis data yang diperlukan untuk tugas pelatihan model. Data tersebut mencakup metrik berlabel dan metrik tanpa label. Data disimpan di Layanan Log dan dapat diperoleh menggunakan Pernyataan SQL. Metrik berlabel dapat langsung digunakan dalam layanan algoritma, sedangkan metrik tanpa label hanya dapat digunakan setelah diberi label menggunakan metode simulasi injeksi anomali.
Layanan Algoritma: Layanan algoritma terdiri dari rekayasa fitur dan model supervisi. Dalam layanan algoritma, model dilatih untuk setiap entitas, dan setiap model dapat diidentifikasi oleh ID entitas.
Penyimpanan Hasil dan Visualisasi: Setelah tugas pelatihan model selesai, sistem menyimpan model yang telah dilatih di cloud dan menyimpan hasil verifikasi dataset serta acara yang dihasilkan oleh tugas dalam logstore bernama internal-ml-log dalam format log. Anda dapat melihat hasil visualisasi dalam detail tugas.
Pembuatan Tugas Peramalan: Setelah tugas pelatihan model selesai, Anda dapat memperoleh model yang telah dilatih untuk entitas dalam tugas. Kemudian, Anda dapat membuat tugas peramalan untuk mendeteksi anomali untuk metrik secara real-time dan menambahkan label ke hasil deteksi menggunakan alat yang disediakan oleh Layanan Log. Dengan cara ini, akurasi model ditingkatkan.
Ikhtisar Layanan Algoritma
Layanan algoritma terdiri dari item berikut:
Dataset: Dataset dibangun berdasarkan rentang waktu tertentu dan diklasifikasikan menjadi set pelatihan dan set validasi.
Durasi set pelatihan harus lebih dari 12 hari karena tugas pelatihan model memerlukan seminggu data historis untuk rekayasa fitur. Durasi set validasi harus lebih dari 3 hari karena diperlukan 3 hari data untuk menghasilkan laporan validasi rinci tentang kecocokan, ketahanan, dan kinerja model.
Rekayasa Fitur: Fitur mencakup perbandingan nilai interval dan perbandingan nilai periodik, translasi, tren, windowing, dan timing.
Integrasi Model: Anda dapat mengintegrasikan beberapa model berbasis pohon untuk membangun model akhir.