Aplikasi Analisis Anomali Cerdas dari Simple Log Service menyediakan fitur analisis teks untuk menganalisis konten teks dalam log secara cerdas dan otomatis serta memberikan hasil analisis statistik global. Fitur ini memungkinkan Anda membuat pekerjaan penemuan pola log dan pencocokan pola log guna memantau dan menganalisis log. Anda dapat memilih pekerjaan dan algoritma sesuai dengan karakteristik log yang ingin dianalisis.
Ikhtisar algoritma analisis teks
Dalam pekerjaan penemuan pola log, Anda dapat menyiapkan pustaka pola log secara offline menggunakan algoritma pengelompokan log atau algoritma penemuan pola. Dalam pekerjaan pencocokan pola log, Anda dapat memantau log secara online menggunakan algoritma pengelompokan berdasarkan kemiripan, algoritma pengelompokan hash, atau algoritma pencocokan berdasarkan kemiripan.
Algoritma analisis teks memanfaatkan teknologi LogParser dan Deteksi anomali. Laporan analisis log disediakan untuk membantu Anda memahami informasi global dan anomali potensial dari log.
Anda dapat menggunakan laporan tersebut untuk mengidentifikasi kategori log yang mungkin memiliki anomali. Ini mempersempit ruang lingkup log yang digunakan untuk pemecahan masalah manual. Kategori tersebut mencakup kategori log baru dan lima kategori log teratas dengan skor anomali tertinggi.
Anda dapat melihat laporan secara berkala untuk memeriksa perubahan informasi log global. Hal ini membantu memeriksa stabilitas sistem.
Penemuan pola log
Algoritma pengelompokan log digunakan dalam skenario di mana volume log besar dan format log konsisten. Algoritma penemuan pola digunakan dalam skenario di mana volume log sedang dan format log kompleks.
Algoritma pengelompokan log
Algoritma pengelompokan log didasarkan pada fitur pengelompokan log. Fitur pengelompokan log melakukan pengelompokan kasar pada log, kemudian algoritma pengelompokan log melakukan pengelompokan halus berdasarkan hasil pengelompokan kasar. Untuk informasi lebih lanjut tentang cara mengaktifkan fitur pengelompokan log dan melihat hasil pengelompokan, lihat LogReduce.
Algoritma penemuan pola
Algoritma penemuan pola mengelompokkan log yang memiliki kata-kata frekuensi tinggi serupa ke dalam satu kategori menggunakan algoritma analisis frekuensi kata. Kata-kata frekuensi tinggi membentuk pola log dari kategori tersebut. Untuk informasi lebih lanjut tentang algoritma, lihat Efficient and Robust Syslog Parsing for Network Devices in Datacenter Networks.
Pencocokan pola log
Algoritma pengelompokan berdasarkan kemiripan dan algoritma pengelompokan hash digunakan dalam skenario di mana volume log besar dan format log konsisten. Algoritma pencocokan berdasarkan kemiripan digunakan dalam skenario di mana volume log besar.
Algoritma pengelompokan berdasarkan kemiripan
Algoritma pengelompokan berdasarkan kemiripan menggunakan LogParser berbasis kemiripan teks untuk mengurai log teks, mengelompokkan log berdasarkan konten dan struktur log, serta mengklasifikasikan log serupa ke dalam satu kategori. Kemiripan teks mencakup jarak edit, kemiripan Jaccard, dan kemiripan kosinus. Algoritma ini juga menganalisis perubahan log dalam jendela waktu berkelanjutan berdasarkan kategori log untuk mendeteksi anomali potensial. Untuk informasi lebih lanjut tentang algoritma, lihat Drain: An Online Log Parsing Approach with Fixed Depth Tree.
Algoritma pengelompokan hash
Algoritma pengelompokan hash didasarkan pada fitur pengelompokan log. Fitur pengelompokan log mengelompokkan log secara online, kemudian algoritma pengelompokan hash melakukan pengelompokan lebih lanjut berdasarkan hasil pengelompokan sebelumnya. Algoritma ini terus menganalisis dan memantau log. Untuk informasi lebih lanjut, lihat LogReduce. Algoritma pengelompokan hash tidak menggunakan pustaka pola log eksternal.
Algoritma pencocokan berdasarkan kemiripan
Algoritma pencocokan berdasarkan kemiripan menggunakan pustaka pola log eksternal untuk mencocokkan dan menganalisis log. Algoritma ini juga dapat menggunakan pustaka pola log yang disiapkan dalam pekerjaan penemuan pola log. Algoritma pencocokan berdasarkan kemiripan mengumpulkan statistik tentang kemunculan setiap pola log dalam pustaka pola log dan mengidentifikasi pola log baru sesegera mungkin. Algoritma ini mempercepat pencocokan pola log dengan menggunakan metode seperti pencocokan vektor dan pencocokan hash.