Topik ini menjelaskan tiga metode untuk mengumpulkan log layanan EAS ke Simple Log Service (SLS) dan menyediakan petunjuk langkah demi langkah untuk masing-masing metode. Pilih metode yang paling sesuai dengan kasus penggunaan Anda.
Ikhtisar
EAS mendukung tiga metode untuk mengumpulkan log layanan ke SLS. Tabel berikut membandingkan metode-metode tersebut untuk membantu Anda memilih.
Kriteria | Tab EAS Insights | CMS 2.0 Onboarding Center | Konfigurasi manual Logtail SLS |
Kasus penggunaan | Pengaktifan cepat log untuk satu layanan | Pengaktifan log secara batch untuk beberapa layanan | Skenario lanjutan seperti pengumpulan log file dan penguraian kustom |
Jenis log | Hanya log stdout | Hanya log stdout | Log stdout + log file |
Kompleksitas | Paling rendah — aktifkan dengan satu klik di halaman detail layanan EAS | Sedang — konfigurasikan di Konsol CMS 2.0 | Paling tinggi — buat kelompok mesin dan konfigurasi Logtail secara manual |
Skenario 1: Pengaktifan cepat untuk satu layanan (tab EAS Insights)
Untuk mengaktifkan log stdout secara cepat untuk satu layanan EAS, buka tab Insights di halaman detail layanan dan aktifkan fitur tersebut. Log kemudian akan dikumpulkan ke SLS secara otomatis.
Login ke Konsol PAI dan pilih wilayah target di bagian atas halaman.
Di panel navigasi sebelah kiri, pilih Elastic Algorithm Service (EAS). Jika Anda memiliki beberapa ruang kerja, pilih ruang kerja target.
Di tab Inference Service, klik nama layanan target untuk membuka halaman detail layanan.
Di halaman detail layanan, klik tab Insights.
Langkah-langkahnya bervariasi tergantung apakah wilayah tersebut sudah diaktifkan atau belum:
Pertama kali di wilayah ini: Di Langkah 2 Initialize Resources, klik Enable Insights. Inisialisasi resource dan onboarding data akan diselesaikan secara otomatis.
Wilayah sudah diaktifkan: Instans layanan saat ini akan diaktifkan secara otomatis. Tidak diperlukan tindakan tambahan.
Layanan yang diaktifkan melalui tab Insights menggunakan mode single instance di CMS 2.0 Integration Management. Mode ini hanya mengumpulkan log untuk layanan saat ini. Untuk mengaktifkan beberapa layanan sekaligus, lihat Skenario 2.
Skenario 2: Pengaktifan batch untuk beberapa layanan (CMS 2.0 Integration Center)
Untuk mengaktifkan log stdout dari beberapa layanan EAS dalam satu wilayah sekaligus, gunakan Onboarding Center CMS 2.0.
Login ke Konsol CMS 2.0. Pilih ruang kerja di wilayah yang sama dengan layanan EAS, lalu klik Integration Center di panel navigasi sebelah kiri.
Jika tidak ada ruang kerja di wilayah yang sama, klik panah kembali di sebelah CMS 2.0 di panel navigasi sebelah kiri untuk membuka manajemen ruang kerja, lalu buat ruang kerja.
Di halaman Onboarding Center, masukkan Platform for AI (PAI-EAS) di kotak pencarian dan klik kartu hasil pencarian.
Di panel Start Onboarding, konfigurasikan pengaturan berikut:
Akun: Pilih akun saat ini atau akun lain.
Nama Kebijakan: Pilih kebijakan yang sudah ada atau klik Create untuk membuat kebijakan baru.
Wilayah: Hanya-baca. Secara default menggunakan wilayah ruang kerja.
Entitys: Pilih salah satu opsi berikut: All Entities, By Resource Group, By Tags, atau Manual Selection.
Klik Determine. Di bagian Addon Config, konfigurasikan pengaturan berikut:
Nama: Opsional. Nama akan dibuat secara otomatis. Kami menyarankan Anda memasukkan nama kustom untuk membedakan antar konfigurasi onboarding.
Select the data to be accessed: Pilih PAI-EAS Service Logs.
Klik Determine. Beralihlah ke tab Integration Management untuk melihat konfigurasi onboarding. Di kolom Aksi, klik sumber data untuk melihat informasi Logstore SLS yang sesuai.
Skenario 3: Pengumpulan log kustom (konfigurasi manual Logtail SLS)
Untuk mengumpulkan log file, mengirim log ke Project dan Logstore tertentu, atau melakukan operasi lanjutan seperti penguraian log kustom atau mengirim log ke OSS, konfigurasikan Logtail secara manual di SLS.
Prosedurnya berbeda-beda tergantung jenis resource. Pilih bagian di bawah ini yang sesuai dengan jenis resource Anda:
Kelompok resource publik: Anda harus membuat kelompok mesin secara manual menggunakan ID kustom dan mengonfigurasi Logtail secara manual.
Kelompok resource spesifikasi khusus: Setelah Anda mengonfigurasi SLS, sistem akan secara otomatis membuat kelompok mesin dan Logtail. Jika Anda perlu mengumpulkan log kustom, konfigurasikan secara manual.
Kuota sumber daya: Anda harus membuat kelompok mesin secara manual menggunakan ID kustom yang berbeda dari yang digunakan untuk kelompok resource publik, dan mengonfigurasi Logtail secara manual.
Prasyarat
Simple Log Service (SLS) telah diaktifkan, dan Project serta Logstore telah dibuat. Untuk informasi lebih lanjut, lihat Manage projects dan Create a basic Logstore.
Kelompok sumber daya publik
Langkah 1: Buat kelompok mesin
Untuk layanan yang dideploy di kelompok resource publik, Anda harus membuat kelompok mesin secara manual.
Login ke Konsol SLS. Di daftar Project, klik Project target.
Di panel navigasi sebelah kiri, pilihMachine Groups.
Di sebelah Machine Groups, klik Create Machine Group.
Di halaman Create Machine Group, buat kelompok mesin menggunakan ID kustom:
Machine Group Identifier: Pilih Custom Identifier.
Machine Group Topic: Biarkan bidang ini kosong.
Name dan Custom Identifier: Masukkan
eas-log-group-{region_id}untuk kedua bidang tersebut. Ganti{region_id}dengan ID wilayah tempat layanan dideploy. Misalnya, jika layanan dideploy di wilayah Zhangjiakou, masukkaneas-log-group-cn-zhangjiakou.
Setelah Anda mendeploy layanan di kelompok resource publik, periksa status heartbeat instans di halaman Machine Groups. OK menunjukkan bahwa kelompok mesin berfungsi dengan baik.
CatatanJika tidak ada layanan yang dideploy, daftar instans akan kosong.
Langkah 2: Konfigurasi Logtail
Konfigurasikan Logtail berdasarkan jenis log yang ingin Anda kumpulkan. Tab berikut menjelaskan cara mengumpulkan log stdout kontainer dan log file kontainer. Untuk konfigurasi yang lebih kompleks, lihat Create and configure a log collection rule.
Kumpulkan log stdout kontainer
Login ke Konsol SLS.
Di bagian Quick Data Import di sebelah kanan, klik Import Data, lalu pilih K8S - Stdout and Stderr - Old Version.
Pilih Project dan Logstore target, lalu klik Next.
Klik Use Existing Machine Groups, pilih kelompok mesin yang telah Anda buat untuk kelompok resource publik di Langkah 1, lalu klik Next.
(Opsional) Jika Anda mendeploy layanan dengan custom image dan ingin mengecualikan log engine EAS, aktifkan Container Filtering di bagian Input Configurations. Lalu tambahkan container label blacklist: atur label name menjadi
io.kubernetes.container.namedan label value menjadieasworker.Klik Next hingga konfigurasi selesai.
Kumpulkan log file kontainer
Di bagian Quick Data Import di sebelah kanan, klik Import Data, lalu pilih Kubernetes - File.
Pilih Project dan Logstore target, lalu klik Next.
Pilih kelompok mesin yang telah Anda buat untuk kelompok resource publik di Langkah 1, lalu klik Next.
Di bagian Input Configurations, konfigurasikan File Path (jalur file yang akan dikumpulkan), lalu klik Next.
Klik Next hingga konfigurasi selesai.
Kuota sumber daya
Langkah 1: Buat kelompok mesin
Prosedurnya sama seperti untuk kelompok resource publik, kecuali ID kustomnya berbeda.
ID kustom untuk kuota sumber daya adalah eas-log-group-{region_id}-for-resource-quota. Ganti {region_id} dengan ID wilayah tempat layanan dideploy. Misalnya, jika layanan dideploy di wilayah Zhangjiakou, masukkan eas-log-group-cn-zhangjiakou-for-resource-quota.
Langkah 2: Konfigurasi Logtail
Konfigurasikan Logtail berdasarkan jenis log yang ingin Anda kumpulkan. Tab berikut menjelaskan cara mengumpulkan log stdout kontainer dan log file kontainer. Untuk konfigurasi yang lebih kompleks, lihat Continuously collect text logs from hosts.
Kumpulkan log stdout kontainer
Login ke Konsol SLS.
Di bagian Quick Data Import di sebelah kanan, klik Import Data, lalu pilih Single Line - Text Logs.
CatatanAnda dapat mengubah metode impor sesuai kebutuhan. Misalnya, untuk mencocokkan log yang dikumpulkan menggunakan ekspresi reguler, pilih Regex - Text Logs. Untuk mengurai log dalam format JSON, pilih JSON - Text Logs. Anda juga dapat memodifikasi konfigurasi setelah dibuat.
Pilih Project dan Logstore target, lalu klik Next.
Konfigurasikan pengaturan kelompok mesin sebagai berikut, lalu klik Next:
Scenario: Pilih Servers.
Installation Environment: Pilih ECS.
Machine Group: Pilih kelompok mesin yang telah Anda buat untuk kuota sumber daya di Langkah 1.
Di konfigurasi Logtail, konfigurasikan pengaturan berikut:
Atur File Path menjadi
/var/log/containers-stdout/{container_name}/*.log. Ganti{container_name}dengan nama kontainer. Misalnya, untuk mengumpulkan log dari semua kontainer kustom, masukkan/var/log/containers-stdout/worker*/*.log.
Klik Next hingga konfigurasi selesai.
Kumpulkan log file kontainer
Saat mendeploy layanan, tentukan direktori log di JSON konfigurasi layanan:
{ "cloud": { "logging": { "paths": [ "/home/admin/logs", "/home/workspace/logs", "/var/log" ] }, // Konfigurasi lainnya dihilangkan "networking": { "security_group_id": "sg-xxxxx", "vswitch_id": "vsw-xxxxx", "vpc_id": "vpc-xxxxx", } } }Di bagian Quick Data Import di sebelah kanan, klik Import Data, lalu pilih Single Line - Text Logs.
Konfigurasikan pengaturan kelompok mesin sebagai berikut, lalu klik Next:
Scenario: Pilih Servers.
Installation Environment: Pilih ECS.
Machine Group: Pilih kelompok mesin yang telah Anda buat untuk kuota sumber daya di Langkah 1.
Di konfigurasi Logtail, konfigurasikan pengaturan berikut:
Type: Pilih Text Log Collection.
File Path: Masukkan jalur file log yang akan dikumpulkan. Jalur tersebut harus merupakan salah satu jalur yang dideklarasikan di JSON konfigurasi layanan. Contoh:
/home/admin/logs/*.log.Maximum Directory Monitoring Depth: Atur parameter ini menjadi
0.
Klik Next hingga konfigurasi selesai.
Kelompok resource spesifikasi khusus
Langkah 1: Buat kelompok mesin
Untuk kelompok resource spesifikasi khusus, Anda tidak perlu membuat kelompok mesin secara manual. Setelah Anda mengonfigurasi SLS di Konsol PAI, resource berikut akan dibuat secara otomatis:
Kelompok mesin dibuat di SLS dengan format nama
eas-sls-{resource-id}-mg(resource-id adalah ID kelompok resource).Konfigurasi Logtail dibuat di Logstore yang ditentukan untuk mengumpulkan log framework EAS.
Lakukan langkah-langkah berikut:
Login ke Konsol PAI dan pilih wilayah target di bagian atas halaman.
Di panel navigasi sebelah kiri, pilih .
Di tab , klik nama kelompok resource untuk membuka halaman detail kelompok resource spesifikasi khusus.
Di halaman detail kelompok resource spesifikasi khusus, klik Configure SLS.
Di kotak dialog Configure Log Service Settings, pilih SLS Project dan Logstore, lalu klik OK.
Langkah 2: Konfigurasi Logtail
Setelah Anda mengonfigurasi SLS untuk kelompok resource spesifikasi khusus, konfigurasi Logtail akan dibuat secara otomatis untuk mengumpulkan log framework EAS.
Untuk mengumpulkan log kustom, lihat Kelompok resource publik - Konfigurasi Logtail. Saat mencapai langkah pemilihan kelompok mesin, pilih kelompok mesin yang dibuat secara otomatis untuk kelompok resource spesifikasi khusus di Langkah 1.
FAQ
T: Bagaimana cara menonaktifkan pengumpulan log SLS untuk layanan PAI-EAS?
Untuk menonaktifkan pengumpulan log, gunakan metode yang sesuai dengan cara Anda mengaktifkannya:
Diaktifkan melalui tab Insights atau CMS 2.0 Onboarding Center (Skenario 1 atau Skenario 2): Login ke Konsol CMS 2.0. Temukan konfigurasi onboarding di Onboarding Management dan hapus.
Kelompok resource spesifikasi khusus (Skenario 3): Buka halaman detail kelompok resource spesifikasi khusus di Konsol PAI, klik Configure SLS, lalu pilih Disable SLS dari daftar drop-down.
Kelompok resource publik atau kuota sumber daya (Skenario 3): Login ke Konsol SLS dan hapus konfigurasi Logtail yang sesuai.
T: Apa yang harus saya lakukan jika pengumpulan log tidak lengkap atau tidak sesuai dengan traffic setelah saya mengonfigurasi SLS untuk kelompok resource spesifikasi khusus?
Jika jumlah log yang dikumpulkan jauh lebih rendah daripada traffic permintaan aktual, atau log tidak sesuai dengan layanan yang diharapkan, lakukan troubleshooting dalam urutan berikut:
Periksa apakah aturan Container Filtering di konfigurasi Logtail diatur dengan benar. Aturan filtering yang salah dapat mencegah log dari kontainer target dikumpulkan.
Konfirmasi bahwa peran terkait layanan
AliyunServiceRoleForEASyang terkait dengan layanan EAS memiliki izin tulis SLS yang cukup. Izin yang tidak mencukupi dapat menyebabkan beberapa log gagal ditulis.Merujuk pada topik ini untuk memeriksa ulang konfigurasi pengumpulan log dan izin peran terkait layanan Anda.
T: Bagaimana cara menanyakan layanan PAI-EAS mana saja yang menulis log SLS dan berapa volume log masing-masing layanan?
Di halaman query dan analisis Logstore target, jalankan pernyataan kueri berikut:
* | select service_name, count(1) as log_count where service_name != '' group by service_name order by log_count descPernyataan ini mengagregasi volume log (log_count) berdasarkan nama layanan (service_name) dan mengurutkan hasilnya secara menurun, membantu Anda mengidentifikasi layanan mana yang menulis log sehingga Anda dapat mengelola atau menonaktifkan pengumpulan secara massal. Anda dapat menggabungkan ini dengan entri "Bagaimana cara menonaktifkan pengumpulan log SLS untuk layanan PAI-EAS?" di bagian ini untuk terlebih dahulu mengidentifikasi, lalu menonaktifkan, pengumpulan.
