Simple Log Service：Kumpulkan dan analisis log teks ECS menggunakan LoongCollector

Prasyarat

Aktifkan layanan dan siapkan akun

• Aktifkan SLS: Jika ini pertama kalinya Anda menggunakan SLS, login ke Konsol Simple Log Service dan aktifkan layanan sesuai petunjuk.

• Siapkan akun:

  • Login dengan Akun Alibaba Cloud: Akun ini memiliki semua izin secara default dan dapat digunakan langsung.

  • Login dengan Pengguna RAM: Akun Alibaba Cloud harus memberikan kebijakan akses yang diperlukan kepada Pengguna RAM:

    • AliyunLogFullAccess: Digunakan untuk membuat dan mengelola resource SLS seperti proyek dan logstore.

    • AliyunECSFullAccess: Digunakan untuk menginstal agen pengumpulan pada instans ECS.

    • AliyunOOSFullAccess: Digunakan untuk menginstal agen pengumpulan secara otomatis pada instans ECS melalui Alibaba Cloud Operation Orchestration Service (OOS).

    Di lingkungan produksi, Anda dapat membuat kebijakan izin kustom untuk pengelolaan izin Pengguna RAM yang lebih detail halus.

Siapkan instans ECS

Pastikan security group dari instans ECS mengizinkan lalu lintas outbound pada Port 80 (HTTP) dan Port 443 (HTTPS).

Buat log tiruan

1. Login ke instans ECS.

2. Buat file skrip bernama generate_nginx_logs.sh dan tempelkan konten berikut ke dalam file. Skrip ini menulis entri log akses NGINX standar ke file /var/log/nginx/access.log setiap 5 detik.

   generate_nginx_logs.sh

   #!/bin/bash
   
   #==============================================================================
   # Nama Skrip: generate_nginx_logs.sh
   # Deskripsi Skrip: Mensimulasikan server NGINX dan terus-menerus menulis log ke access.log.
   #==============================================================================
   
   # --- Parameter yang Dapat Dikonfigurasi ---
   
   # Jalur file log
   LOG_FILE="/var/log/nginx/access.log"
   
   # --- Kolam Data Tiruan ---
   
   # Kolam alamat IP acak
   IP_ADDRESSES=(
       "192.168.1.10" "10.0.0.5" "172.16.31.40" "203.0.113.15"
       "8.8.8.8" "1.1.X.X" "91.198.XXX.XXX" "114.114.114.114"
       "180.76.XX.XX" "223.5.5.5"
   )
   
   # Kolam metode permintaan HTTP
   HTTP_METHODS=("GET" "POST" "PUT" "DELETE" "HEAD")
   
   # Kolam jalur permintaan umum
   REQUEST_PATHS=(
       "/index.html" "/api/v1/users" "/api/v1/products?id=123" "/images/logo.png"
       "/static/js/main.js" "/static/css/style.css" "/login" "/admin/dashboard"
       "/robots.txt" "/sitemap.xml" "/non_existent_page.html"
   )
   
   # Kolam kode status HTTP (Anda dapat menyesuaikan bobotnya. Misalnya, tambahkan lebih banyak 200 untuk meningkatkan probabilitasnya.)
   HTTP_STATUSES=(200 200 200 200 201 301 404 404 500 502 403)
   
   # Kolam User-Agent umum
   USER_AGENTS=(
       "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36"
       "Mozilla/5.0 (iPhone; CPU iPhone OS 14_6 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.1 Mobile/15E148 Safari/604.1"
       "Mozilla/5.0 (Linux; Android 11; SM-G991U) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.120 Mobile Safari/537.36"
       "curl/7.68.0"
       "Googlebot/2.1 (+http://www.google.com/bot.html)"
   )
   
   # Kolam Referer umum
   REFERERS=(
       "https://www.google.com/"
       "https://www.bing.com/"
       "https://github.com/"
       "https://stackoverflow.com/"
       "-"
       "-"
       "-"
   )
   #  Periksa dan buat direktori log
   LOG_DIR=$(dirname "$LOG_FILE")
   if [ ! -d "$LOG_DIR" ]; then
       echo "Direktori log '$LOG_DIR' tidak ada. Mencoba membuat..."
       # Gunakan sudo untuk membuat direktori karena biasanya memerlukan izin root
       sudo mkdir -p "$LOG_DIR"
       if [ $? -ne 0 ]; then
           echo "Error: Gagal membuat direktori '$LOG_DIR'. Periksa izin atau buat secara manual."
           exit 1
       fi
       echo "Direktori berhasil dibuat."
   fi
   
   # Periksa izin penulisan untuk file log
   trap 'echo -e "\n\nSkrip diinterupsi. Menghentikan pembuatan log..."; exit 0;' SIGINT
   
   # --- Fungsi Inti ---
   
   # Definisikan fungsi untuk memilih elemen acak dari array
   # Penggunaan: random_element "nama_array"
   function random_element() {
       local arr=("${!1}")
       echo "${arr[$((RANDOM % ${#arr[@]}))]}"
   }
   
   # Tangkap sinyal interupsi Ctrl+C untuk keluar secara elegan
   trap 'echo -e "\n\nSkrip diinterupsi. Menghentikan pembuatan log..."; exit 0;' SIGINT
   
   # --- Loop Utama ---
   
   echo "Mulai membuat log NGINX tiruan ke $LOG_FILE ..."
   echo "Satu entri log dihasilkan setiap 5 detik."
   echo "Tekan Ctrl+C untuk berhenti."
   sleep 2
   
   # Loop tak hingga untuk terus-menerus menghasilkan log
   while true; do
       # 1. Dapatkan waktu saat ini dalam format default NGINX: [dd/Mon/YYYY:HH:MM:SS +ZZZZ]
       timestamp=$(date +'%d/%b/%Y:%H:%M:%S %z')
   
       # 2. Pilih data acak dari kolam
       ip=$(random_element IP_ADDRESSES[@])
       method=$(random_element HTTP_METHODS[@])
       path=$(random_element REQUEST_PATHS[@])
       status=$(random_element HTTP_STATUSES[@])
       user_agent=$(random_element USER_AGENTS[@])
       referer=$(random_element REFERERS[@])
   
       # 3. Hasilkan ukuran badan respons acak (dalam byte)
       bytes_sent=$((RANDOM % 5000 + 100)) # Bilangan acak antara 100 dan 5100
   
       # 4. Gabungkan menjadi entri log lengkap dalam format gabungan NGINX
       # Format: $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent"
       log_line="$ip - - [$timestamp] \"$method $path HTTP/1.1\" $status $bytes_sent \"$referer\" \"$user_agent\""
   
       # 5. Tambahkan baris log ke file
       # echo "$log_line" >> "$LOG_FILE"
       echo "$log_line" | sudo tee -a "$LOG_FILE" > /dev/null
       
       # 6. Tunggu 5 detik sebelum loop berikutnya
       sleep 5
   done

3. Berikan izin eksekusi: chmod +x generate_nginx_logs.sh.

4. Jalankan skrip di latar belakang: nohup ./generate_nginx_logs.sh &.

Langkah selanjutnya

Anda telah menyelesaikan proses pengumpulan log, kueri dan analisis, visualisasi dasbor, serta konfigurasi notifikasi. Kami merekomendasikan Anda membaca dokumen berikut untuk lebih memahami konsep inti dan merencanakan sistem resource log berdasarkan kebutuhan bisnis Anda:

• Pahami konsep proyek dan logstore.

• Pelajari metode pengumpulan data dan pilih yang sesuai dengan skenario bisnis Anda.

• Pahami hirarki resource penyimpanan, rencanakan siklus hidup resource, dan alokasikan jumlah shard yang wajar.

Tanya Jawab Umum