Kumpulkan log file SAE ke SLS untuk manajemen dan analisis - Serverless App Engine

Anda dapat mengumpulkan log output standar atau log file dari aplikasi SAE dan mengirimkannya ke Simple Log Service (SLS) untuk penyimpanan persisten dan analisis teragregasi.

Prasyarat

Aktifkan Simple Log Service. Jika belum diaktifkan, masuk ke Simple Log Service console dan ikuti petunjuk di layar untuk mengaktifkannya.
Pastikan setiap instans dalam aplikasi memiliki minimal CPU 0,25 Core dan memori tersedia sebesar 250 MB.

Aktifkan pengumpulan log

Prosedur

Buat aplikasi
Pada halaman SAE Application List, pilih Wilayah tujuan dan namespace pada bilah navigasi atas, lalu klik Create Application. Pada halaman Application Basic Information, konfigurasikan parameter dan klik Next: Advanced Settings.
Ubah aplikasi yang sedang Berjalan
Peringatan
Setelah menerapkan ulang aplikasi, aplikasi akan dimulai ulang. Untuk mencegah error tak terduga seperti gangguan bisnis, disarankan melakukan deployment selama jam sepi.
Pada halaman SAE Application List, pilih Wilayah tujuan dan namespace pada bilah navigasi atas. Klik ID Application yang dituju untuk membuka halaman detail aplikasi.Di panel navigasi kiri, klik Basic Information. Di pojok kanan atas, klik Deploy Application.
Ubah aplikasi yang berhenti
Pada halaman SAE Application List, pilih Wilayah tujuan dan namespace pada bilah navigasi atas. Klik ID Application yang dituju untuk membuka halaman detail aplikasi.Klik Basic Information, lalu klik Modify Application Configuration.
Perluas bagian Log Settings dan aktifkan Activate Simple Log Service.

Deskripsi konfigurasi

Pilih resource SLS untuk menyimpan log aplikasi SAE Anda:
- Create Simple Log Service Resource: Sistem secara otomatis membuat proyek SLS. Nama proyek menggunakan format sae-<random_string>.
- Use Existing Simple Log Service Resources: Pilih proyek SLS yang sudah ada. Proyek tersebut harus berada di Wilayah yang sama dengan aplikasi.
Log label: Log label digunakan untuk mengidentifikasi dan mengkategorikan entri log. Setelah mengaktifkan Enable custom log labels, pilih salah satu Type berikut untuk mengonfigurasi kunci dan nilai. Untuk mengonfigurasi beberapa pasangan kunci-nilai, klik Add.
- Custom: Masukkan Variable Name dan Variable Value.
- Reference Configuration Item: Masukkan Variable Name, lalu pilih Configuration Item Name dan Key yang sudah ada.
Penting
Fitur ini sedang dalam pratinjau undangan. Untuk menggunakannya, hubungi staf teknis terkait di grup DingTalk (ID: 32874633) agar akun Anda ditambahkan ke daftar putih.
Collection Log Type:
- File Logs (Log Path in Container): Opsi ini berlaku untuk skenario di mana aplikasi menulis log ke file. Pada bidang Log Source, tentukan jalur mutlak file log dalam kontainer, termasuk nama file. Contohnya, /tmp/test.log. Pencocokan karakter wildcard didukung. Misalnya, /path/to/your/files/*.log.
- Container Standard Output Logs: Opsi ini berlaku untuk skenario di mana aplikasi mencetak log ke output standar. Log Source ditampilkan sebagai stdout.log.
- Klik + Add untuk menambahkan beberapa Catatan.
- Jika memilih Use Existing Simple Log Service Resources, Anda dapat mengonfigurasi logstoreName dan logtail untuk setiap Catatan.
Penting
- Untuk mencegah file dalam direktori ditimpa, jangan menyimpan file penting lainnya di jalur Log Source. Misalnya, jika file yang dapat dieksekusi dan data aplikasi disimpan di /home/admin/app/, menyetel jalur penyimpanan log ke /home/admin/ akan menimpa semua direktori dan file di bawah jalur tersebut. Untuk mencegah hal ini, tetapkan jalur penyimpanan log ke /home/admin/log/.
- Selama rilis Batch atau rilis bertahap, jika hanya mengubah proyek atau Logstore, log tetap akan dikumpulkan ke tujuan lama hingga semua batch diterapkan. Hal ini karena SLS tidak mendukung pengumpulan log dari file yang sama ke proyek atau Logstore yang berbeda.

Verifikasi hasil

Di SAE Application List, pilih Wilayah tujuan dan namespace dari bilah navigasi atas. Klik Application ID yang dituju untuk membuka halaman detail aplikasi.
Di panel navigasi kiri, pilih Log Management > Persistent Logs > Log Collection to Simple Log Service untuk melihat log SLS.
Pada kolom Actions, klik File Logs untuk menuju ke Logstore yang sesuai dan melihat detail log.

Hapus awalan dari konten log

Saat mengumpulkan log output standar kontainer, konten log asli mencakup awalan yang tidak diperlukan. Anda dapat menggunakan salah satu metode berikut untuk menghapus awalan tersebut.

Metode 1: Sesuaikan konfigurasi Logtail

Penting

Fitur ini hanya tersedia untuk Logtail 2.0 dan versi yang lebih baru. Untuk menggunakannya, hubungi ahli teknis produk di grup DingTalk (ID: 32874633) guna meningkatkan versi Logtail aplikasi SAE Anda.

Perluas Logstore yang sesuai dan klik Logtail Configurations.
Pada halaman Logtail Configuration, klik item konfigurasi Logtail yang dituju.
Klik Edit dan konfigurasikan parameter berikut. Biarkan nilai default untuk parameter lainnya.
1. Perluas bagian Processor Configurations. Tetapkan Processing Method If Splitting Fails ke Retain Single Line.
2. Tetapkan Processing Method ke SPL.
3. Pada kotak teks SPL Statement, masukkan * | extend msg=regexp_replace(content, '(\S{33,36}\s\S+\sF\s)','') | project-away content.
Klik Save.
Awalan dihapus dari log yang baru dikumpulkan.

Metode 2: Arahkan ulang output standar

Buat aplikasi
Pada halaman SAE Application List, pilih Wilayah tujuan dan namespace pada bilah navigasi atas, lalu klik Create Application. Pada halaman Application Basic Information, konfigurasikan parameter dan klik Next: Advanced Settings.
Ubah aplikasi yang sedang Berjalan
Peringatan
Setelah menerapkan ulang aplikasi, aplikasi akan dimulai ulang. Untuk mencegah error tak terduga seperti gangguan bisnis, disarankan melakukan deployment selama jam sepi.
Pada halaman SAE Application List, pilih Wilayah tujuan dan namespace pada bilah navigasi atas. Klik ID Application yang dituju untuk membuka halaman detail aplikasi.Di panel navigasi kiri, klik Basic Information. Di pojok kanan atas, klik Deploy Application.
Ubah aplikasi yang berhenti
Pada halaman SAE Application List, pilih Wilayah tujuan dan namespace pada bilah navigasi atas. Klik ID Application yang dituju untuk membuka halaman detail aplikasi.Klik Basic Information, lalu klik Modify Application Configuration.
Perluas bagian Startup Command dan konfigurasikan perintah startup untuk mengarahkan ulang output standar:
Untuk aplikasi yang diterapkan dari citra, tambahkan 2>&1 | tee -a /home/admin/log/std.log setelah perintah startup asli. Dalam perintah ini, /home/admin/log/std.log adalah jalur penyimpanan file log, yang dapat Anda sesuaikan.
Misalnya, jika perintah startup asli dalam citra adalah CMD ["./main"], konfigurasikan perintah startup sebagai ./main 2>&1 | tee -a /home/admin/log/std.log.
Jika lingkungan citra tidak mendukung perintah tee, atau jika Anda tidak perlu melihat log waktu nyata di konsol, ganti 2>&1 | tee -a /home/admin/log/std.log dengan > /home/admin/log/std.log 2>&1.
Perluas bagian Log Configuration. Tetapkan Log Collection Type ke File Log (Log Path In Container). Tetapkan Log Source ke jalur penyimpanan file log, misalnya /home/admin/log/std.log.
Klik OK dan tunggu hingga aplikasi diterapkan.
Awalan dihapus dari log yang baru dikumpulkan.

Tetapkan variabel lingkungan untuk meningkatkan performa pengumpulan Logtail

Anda dapat mengonfigurasi parameter startup Logtail dengan menetapkan variabel lingkungan di SAE console. Hal ini meningkatkan performa pengumpulan Logtail dan membantu mengatasi bottleneck yang memengaruhi pengumpulan log, seperti Penggunaan memori tinggi, Trafik data log tinggi, dan laju pengiriman data tinggi.

Di bagian Environment Variable, pilih Custom atau Reference Configuration Item. Lalu, masukkan Variable Name dan Variable Value/Variable Reference. Untuk informasi selengkapnya, lihat Tetapkan variabel lingkungan.

Aturan penamaan variabel
Tambahkan awalan sls_ ke variabel lingkungan Logtail yang ingin Anda konfigurasi. Misalnya, seperti yang ditunjukkan pada gambar berikut, untuk menambahkan parameter Logtail max_read_buffer_size, Anda harus mengonfigurasi variabel lingkungan sebagai sls_max_read_buffer_size. Gambar tersebut menunjukkan bahwa ukuran maksimum untuk membaca setiap log adalah 524.288 byte. Untuk informasi selengkapnya tentang parameter, lihat Tetapkan parameter startup Logtail.
Pemetaan antara variabel lingkungan dan parameter startup Logtail
Untuk informasi selengkapnya, lihat Deskripsi variabel lingkungan.

Kuota dan batasan

Akun Alibaba Cloud dapat memiliki maksimal 200 resource Logstore dan 50 resource proyek. Batasan pada resource Simple Log Service dasar dapat memengaruhi pengumpulan log untuk aplikasi SAE. Misalnya, batasan ini dapat menyebabkan periode retensi log yang singkat atau kegagalan pengumpulan log. Untuk informasi selengkapnya tentang batasan, lihat Batasan resource dasar.

Deskripsi penagihan

Simple Log Service adalah layanan berbayar. Untuk informasi selengkapnya, lihat Deskripsi penagihan SLS.

FAQ

Apakah fitur log SAE mendukung rotasi log?
Ya, mendukung. Anda dapat melakukan rotasi log dengan menambahkan karakter wildcard ke nama file log.
Karakter wildcard yang didukung adalah tanda bintang (*) dan tanda tanya (?).
Saat saya melihat log file, tidak ada data yang ditampilkan di SLS console. Apa yang harus saya lakukan?
Secara default, SLS mengkueri data dari 15 menit terakhir. Jika tidak ada data yang ditampilkan di SLS console, gunakan Webshell untuk memeriksa apakah aplikasi Anda telah menghasilkan informasi log file. Untuk informasi selengkapnya, lihat Gunakan Webshell untuk mendiagnosis aplikasi.
- Jika informasi log ada, bergabunglah dengan grup DingTalk (ID: 32874633) dan hubungi ahli teknis produk untuk bantuan.
- Jika tidak ada informasi log, periksa konfigurasi aplikasi Anda.