Simple Log Service:Kumpulkan dan analisis log teks ECS menggunakan LoongCollector

Prasyarat

Aktifkan SLS dan siapkan akun

• Aktifkan SLS: Jika ini pertama kalinya Anda menggunakan layanan ini, login ke Konsol Simple Log Service dan ikuti petunjuk di layar untuk mengaktifkan layanan tersebut.

• Siapkan akun:

  • Akun Alibaba Cloud: Memiliki izin penuh secara default.

  • RAM user: Jika Anda menggunakan RAM user, Anda harus memberikan kebijakan izin yang diperlukan:

    • AliyunLogFullAccess: Memberikan izin untuk membuat dan mengelola resource SLS seperti project dan logstore.

    • AliyunECSFullAccess: Memberikan izin untuk menginstal agen pengumpulan pada instans ECS.

    • AliyunOOSFullAccess: Memberikan izin untuk menginstal agen pengumpulan secara otomatis pada instans ECS melalui Operation Orchestration Service (OOS).

    Di lingkungan produksi, Anda dapat membuat kebijakan izin kustom untuk kontrol lebih rinci terhadap izin RAM user.

Siapkan instans ECS

Pastikan security group instans ECS mengizinkan lalu lintas outbound pada port 80 (HTTP) dan port 443 (HTTPS).

Buat log simulasi

1. Login ke instans ECS.

2. Buat file skrip bernama generate_nginx_logs.sh dan tempel konten berikut. Skrip ini menulis entri log akses Nginx standar ke /var/log/nginx/access.log setiap 5 detik.

   generate_nginx_logs.sh

   #!/bin/bash
   
   #==============================================================================
   # Nama Skrip: generate_nginx_logs.sh
   # Deskripsi Skrip: Mensimulasikan server NGINX dan terus-menerus menulis log ke access.log.
   #==============================================================================
   
   # --- Parameter yang Dapat Dikonfigurasi ---
   
   # Jalur file log
   LOG_FILE="/var/log/nginx/access.log"
   
   # --- Kolam Data Simulasi ---
   
   # Kolam alamat IP acak
   IP_ADDRESSES=(
       "192.168.1.10" "10.0.0.5" "172.16.31.40" "203.0.113.15"
       "8.8.8.8" "1.1.X.X" "91.198.XXX.XXX" "114.114.114.114"
       "180.76.XX.XX" "223.5.5.5"
   )
   
   # Kolam metode permintaan HTTP
   HTTP_METHODS=("GET" "POST" "PUT" "DELETE" "HEAD")
   
   # Kolam jalur permintaan umum
   REQUEST_PATHS=(
       "/index.html" "/api/v1/users" "/api/v1/products?id=123" "/images/logo.png"
       "/static/js/main.js" "/static/css/style.css" "/login" "/admin/dashboard"
       "/robots.txt" "/sitemap.xml" "/non_existent_page.html"
   )
   
   # Kolam kode status HTTP (Anda dapat menyesuaikan bobotnya, misalnya tambahkan lebih banyak 200 untuk meningkatkan probabilitasnya)
   HTTP_STATUSES=(200 200 200 200 201 301 404 404 500 502 403)
   
   # Kolam User-Agent umum
   USER_AGENTS=(
       "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36"
       "Mozilla/5.0 (iPhone; CPU iPhone OS 14_6 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.1 Mobile/15E148 Safari/604.1"
       "Mozilla/5.0 (Linux; Android 11; SM-G991U) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.120 Mobile Safari/537.36"
       "curl/7.68.0"
       "Googlebot/2.1 (+http://www.google.com/bot.html)"
   )
   
   # Kolam Referer umum
   REFERERS=(
       "https://www.google.com/"
       "https://www.bing.com/"
       "https://github.com/"
       "https://stackoverflow.com/"
       "-"
       "-"
       "-"
   )
   # Periksa dan buat direktori log
   LOG_DIR=$(dirname "$LOG_FILE")
   if [ ! -d "$LOG_DIR" ]; then
       echo "Direktori log '$LOG_DIR' tidak ada. Mencoba membuat..."
       # Gunakan sudo untuk membuat direktori karena biasanya memerlukan izin root
       sudo mkdir -p "$LOG_DIR"
       if [ $? -ne 0 ]; then
           echo "Error: Gagal membuat direktori '$LOG_DIR'. Periksa izin atau buat secara manual."
           exit 1
       fi
       echo "Direktori berhasil dibuat."
   fi
   
   # Periksa izin penulisan untuk file log
   trap 'echo -e "\n\nSkrip diinterupsi. Menghentikan pembuatan log..."; exit 0;' SIGINT
   
   # --- Fungsi Inti ---
   
   # Definisikan fungsi untuk memilih elemen acak dari array
   # Penggunaan: random_element "nama_array"
   function random_element() {
       local arr=("${!1}")
       echo "${arr[$((RANDOM % ${#arr[@]}))]}"
   }
   
   # Tangkap sinyal interupsi Ctrl+C untuk keluar secara elegan
   trap 'echo -e "\n\nSkrip diinterupsi. Menghentikan pembuatan log..."; exit 0;' SIGINT
   
   # --- Loop Utama ---
   
   echo "Mulai membuat log simulasi NGINX ke $LOG_FILE ..."
   echo "Satu entri log dihasilkan setiap 5 detik."
   echo "Tekan Ctrl+C untuk berhenti."
   sleep 2
   
   # Loop tak hingga untuk terus menghasilkan log
   while true; do
       # 1. Dapatkan waktu saat ini dalam format default NGINX: [dd/Mon/YYYY:HH:MM:SS +ZZZZ]
       timestamp=$(date +'%d/%b/%Y:%H:%M:%S %z')
   
       # 2. Pilih data acak dari kolam
       ip=$(random_element IP_ADDRESSES[@])
       method=$(random_element HTTP_METHODS[@])
       path=$(random_element REQUEST_PATHS[@])
       status=$(random_element HTTP_STATUSES[@])
       user_agent=$(random_element USER_AGENTS[@])
       referer=$(random_element REFERERS[@])
   
       # 3. Hasilkan ukuran badan respons acak (dalam byte)
       bytes_sent=$((RANDOM % 5000 + 100)) # Bilangan acak antara 100 dan 5100
   
       # 4. Gabungkan menjadi entri log lengkap dalam format gabungan NGINX
       # Format: $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent"
       log_line="$ip - - [$timestamp] \"$method $path HTTP/1.1\" $status $bytes_sent \"$referer\" \"$user_agent\""
   
       # 5. Tambahkan baris log ke file
       # echo "$log_line" >> "$LOG_FILE"
       echo "$log_line" | sudo tee -a "$LOG_FILE" > /dev/null
       
       # 6. Tunggu 5 detik sebelum loop berikutnya
       sleep 5
   done

3. Beri izin eksekusi: chmod +x generate_nginx_logs.sh.

4. Jalankan skrip di latar belakang: nohup ./generate_nginx_logs.sh &.

Langkah selanjutnya

Sekarang Anda telah mengumpulkan, mengkueri, memvisualisasikan, dan memantau log, jelajahi sumber daya berikut untuk mempelajari lebih lanjut:

• Project dan logstore: konsep resource inti.

• Metode pengumpulan data: pilih metode yang tepat untuk skenario Anda.

• Hierarki resource penyimpanan: rencanakan siklus hidup resource dan alokasi shard.

FAQ