Simple Log Service menyediakan fitur analisis teks untuk mendeteksi konten teks di seluruh volume log yang besar. Topik ini mencakup skenario fitur, istilah, penjadwalan, kasus penggunaan eksekusi, serta catatan penggunaan.
Aplikasi Analisis Anomali Cerdas di Simple Log Service sedang dihapus secara bertahap dan tidak akan tersedia lagi pada 15 Juli 2025 (UTC+8).
Ruang lingkup dampak:
Pemeriksaan cerdas, analisis teks, dan peramalan deret waktu tidak akan tersedia lagi.
Penggantian fitur:
Fitur-fitur tersebut dapat sepenuhnya digantikan oleh sintaks pembelajaran mesin, SQL terjadwal, dan dashboard dari Simple Log Service. Dokumentasi akan diberikan untuk membantu Anda mengonfigurasi pengaturan terkait fitur.
Informasi latar belakang
Ketika sebuah layanan berjalan, ia menghasilkan banyak log, termasuk log sistem dan bisnis, yang digunakan untuk pemantauan dan pemecahan masalah. Analisis log tradisional melibatkan penilaian tingkat risiko dan pencocokan kata kunci seperti Error, Failed, dan Unsuccessfully. Dalam lingkungan terdistribusi dengan layanan mikro, menganalisis log ini menimbulkan tantangan berikut:
Tera atau bahkan peta byte log dihasilkan setiap hari, membuat analisis manual menjadi sangat intensif tenaga kerja.
Dalam lingkungan terdistribusi dengan penyebaran layanan mikro, log Warning atau Error tidak selalu menunjukkan adanya pengecualian sistem. Log ini mungkin dihasilkan karena penskalaan sistem, pembaruan, atau iterasi. Pengetahuan profesional diperlukan selama analisis manual untuk mengidentifikasi anomali dalam log.
Untuk mengatasi tantangan ini, analisis otomatis dan cerdas dari log dan pemecahan masalah diperlukan. Dengan memecahkan tantangan ini, potensi log dapat dimanfaatkan sepenuhnya, dan biaya tenaga kerja untuk analisis anomali log dapat dikurangi. Analisis otomatis dan cerdas dari log memiliki karakteristik berikut:
Memproses volume log yang besar secara efisien.
Mengidentifikasi anomali dalam log atau mempersempit ruang lingkup log yang digunakan untuk pemecahan masalah.
Mengizinkan Anda menyesuaikan parameter untuk analisis teks.
Untuk memenuhi kebutuhan ini, Simple Log Service menawarkan fitur analisis teks untuk integrasi dan analisis log yang disederhanakan. Mengimplementasikan fitur ini memerlukan konfigurasi objek yang dipantau tertentu dan beberapa parameter algoritma. Algoritma kemudian secara otomatis mendeteksi anomali dalam log, memungkinkan Anda fokus pada konten penting.
Pengenalan Fitur
Analisis teks mendukung penarikan konten teks dari log melalui grup konsumen tanpa perlu mengonfigurasi indeks. Pekerjaan analisis teks mengambil data dan memasukkannya ke dalam model analisis teks berdasarkan aturan terjadwal. Model kemudian menulis hasil analisis ke logstore target (internal-ml-log) dan memvisualisasikan hasilnya pada dashboard, membantu Anda dengan cepat memahami hasil analisis.
Konfigurasikan objek pemantauan: Atur field log yang akan dianalisis (di mana nilai field adalah konten teks), lalu konfigurasikan parameter algoritma sesuai kebutuhan dan mulai tugas. Menggunakan grup konsumen untuk mengonfigurasi field log tidak memerlukan pengaktifan indeks.
Analisis data terjadwal: Algoritma dalam analisis teks memproses data menggunakan jendela waktu.
Output hasil: Hasil analisis dikeluarkan ke logstore target dan dashboard yang sesuai dibuat untuk memvisualisasikan hasil analisis.
Istilah
Istilah | Deskripsi |
Pekerjaan | Pekerjaan analisis teks mencakup fitur data dan parameter model algoritma. |
Instansi | Pekerjaan analisis teks membuat instansi analisis teks berdasarkan konfigurasi pekerjaan. Instansi menarik data secara berkala, menjalankan model algoritma, dan kemudian mendistribusikan hasil analisis berdasarkan konfigurasi pekerjaan.
Untuk informasi tentang bagaimana operasi berbeda memengaruhi penjadwalan dan pelaksanaan instansi, lihat Penjadwalan dan Pelaksanaan. |
ID Instansi | Setiap instansi diidentifikasi oleh ID unik. |
Waktu Pembuatan | Setiap instansi dibuat pada titik waktu tertentu. Dalam kebanyakan kasus, instansi dibuat untuk pekerjaan analisis teks berdasarkan aturan penjadwalan pekerjaan. Jika data historis perlu diproses atau penundaan yang disebabkan oleh batas waktu instansi sebelumnya harus diimbangi, instansi segera dibuat. |
Waktu Pelaksanaan | Setiap instansi mulai berjalan pada titik waktu tertentu. Jika instansi milik pekerjaan yang diulang, waktu mulai adalah waktu terbaru ketika instansi mulai berjalan. |
Waktu Selesai | Setiap instansi berhenti berjalan pada titik waktu tertentu. Jika instansi milik pekerjaan yang diulang, waktu selesai adalah waktu terbaru ketika instansi berhenti berjalan. |
Status | Setiap instansi berada dalam status tertentu pada titik waktu tertentu. Nilai valid:
|
Kasus Penggunaan Penjadwalan dan Eksekusi
Setiap pekerjaan dapat membuat satu atau lebih instansi. Hanya satu instansi yang dapat berjalan dalam satu pekerjaan pada satu waktu, baik instansi tersebut dijalankan sesuai jadwal maupun diulang karena anomali. Anda tidak dapat menjalankan beberapa instansi secara bersamaan dalam satu pekerjaan. Daftar berikut menggambarkan kasus penggunaan penjadwalan dan eksekusi umum:
Mulai Segera: Memulai pekerjaan analisis teks segera berarti model algoritma tidak dapat mengakses data historis. Model tersebut dilatih pada data dari jendela waktu inisialisasi yang dikonfigurasi, menekan anomali, dan kemudian diperbarui secara dinamis dengan data baru.
Parameter Jadwal Dimodifikasi: Ketika Anda mengubah aturan penjadwalan pekerjaan, instansi baru dihasilkan berdasarkan pengaturan yang diperbarui. Model tersebut melanjutkan dari titik analisis terakhir, menangani data baru.
Coba Ulang Saat Gagal: Jika instansi gagal karena masalah seperti kesalahan izin, log store yang tidak tersedia, atau masalah konfigurasi, Simple Log Service mencoba ulang secara otomatis. Jika instansi tetap dalam keadaan STARTING, itu menunjukkan kegagalan konfigurasi, dan log kesalahan dibuat. Periksa konfigurasi dan coba ulang. Status instansi diperbarui menjadi SUCCEEDED atau FAILED berdasarkan hasil percobaan ulang.
Catatan Penggunaan
Untuk meningkatkan efisiensi analisis teks:
Tentukan field teks yang ingin Anda analisis dalam log. Jika Anda menentukan banyak field yang berlebihan, efektivitas analisis mungkin terganggu, dan kecepatan analisis mungkin menurun.
Peroleh perubahan dalam data deret waktu objek yang dipantau untuk memeriksa stabilitas dan periodisitas data dan memprediksi anomali potensial. Pendekatan ini membantu Anda mengonfigurasi parameter yang sesuai untuk algoritma.