Simple Log Service：使用LoongCollector採集並分析ECS文本日誌

前置準備

開通服務與準備帳號

• 開通Log Service：首次使用時，請登入Log Service控制台，根據頁面提示開通服務。

• 準備帳號：

  • 阿里雲主帳號登入：預設擁有全部許可權，可直接操作。

  • RAM使用者登入：需要主帳號授權相應權限原則：

    • AliyunLogFullAccess：用於建立和管理Log Service的Project和LogStore等資源。

    • AliyunECSFullAccess：用於在ECS執行個體上安裝採集Agent。

    • AliyunOOSFullAccess：用於通過阿里雲營運編排服務（OOS）在ECS執行個體中自動安裝採集Agent。

    在實際生產過程中，可以通過建立自訂權限原則，對RAM使用者實現更精細化的許可權管理

準備ECS執行個體

確保ECS執行個體的安全性群組配置滿足出口方向開放80（HTTP）連接埠和443（HTTPS）連接埠。

產生類比日誌

1. 登入ECS執行個體。

2. 建立指令碼檔案 generate_nginx_logs.sh 並粘貼以下內容。該指令碼向/var/log/nginx/access.log檔案中每5秒寫入一條標準的Nginx訪問日誌。

   generate_nginx_logs.sh

   #!/bin/bash
   
   #==============================================================================
   # 指令碼名稱: generate_nginx_logs.sh
   # 指令碼描述: 類比NGINX伺服器，持續向access.log寫入日誌。
   #==============================================================================
   
   # --- 可配置參數 ---
   
   # 記錄檔路徑
   LOG_FILE="/var/log/nginx/access.log"
   
   # --- 類比資料池 ---
   
   # 隨機IP位址集區
   IP_ADDRESSES=(
       "192.168.1.10" "10.0.0.5" "172.16.31.40" "203.0.113.15"
       "8.8.8.8" "1.1.X.X" "91.198.XXX.XXX" "114.114.114.114"
       "180.76.XX.XX" "223.5.5.5"
   )
   
   # HTTP要求方法池
   HTTP_METHODS=("GET" "POST" "PUT" "DELETE" "HEAD")
   
   # 常見請求路徑池
   REQUEST_PATHS=(
       "/index.html" "/api/v1/users" "/api/v1/products?id=123" "/images/logo.png"
       "/static/js/main.js" "/static/css/style.css" "/login" "/admin/dashboard"
       "/robots.txt" "/sitemap.xml" "/non_existent_page.html"
   )
   
   # HTTP狀態代碼池 (可以調整權重，例如多放幾個200來提高其出現機率)
   HTTP_STATUSES=(200 200 200 200 201 301 404 404 500 502 403)
   
   # 常見User-Agent池
   USER_AGENTS=(
       "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36"
       "Mozilla/5.0 (iPhone; CPU iPhone OS 14_6 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.1 Mobile/15E148 Safari/604.1"
       "Mozilla/5.0 (Linux; Android 11; SM-G991U) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.120 Mobile Safari/537.36"
       "curl/7.68.0"
       "Googlebot/2.1 (+http://www.google.com/bot.html)"
   )
   
   # 常見Referer池
   REFERERS=(
       "https://www.google.com/"
       "https://www.bing.com/"
       "https://github.com/"
       "https://stackoverflow.com/"
       "-"
       "-"
       "-"
   )
   #  檢查並建立日誌目錄
   LOG_DIR=$(dirname "$LOG_FILE")
   if [ ! -d "$LOG_DIR" ]; then
       echo "日誌目錄 '$LOG_DIR' 不存在，正在嘗試建立..."
       # 使用 sudo 建立目錄，因為通常需要 root 許可權
       sudo mkdir -p "$LOG_DIR"
       if [ $? -ne 0 ]; then
           echo "錯誤: 無法建立目錄 '$LOG_DIR'。請檢查許可權或手動建立。"
           exit 1
       fi
       echo "目錄建立成功。"
   fi
   
   # 檢查記錄檔的寫入許可權
   trap 'echo -e "\n\n指令碼被中斷。正在停止日誌產生..."; exit 0;' SIGINT
   
   # --- 核心函數 ---
   
   # 定義一個函數用於從數組中隨機播放一個元素
   # 用法: random_element "數組名"
   function random_element() {
       local arr=("${!1}")
       echo "${arr[$((RANDOM % ${#arr[@]}))]}"
   }
   
   # 捕獲Ctrl+C中斷訊號，並優雅退出
   trap 'echo -e "\n\n指令碼被中斷。正在停止日誌產生..."; exit 0;' SIGINT
   
   # --- 主迴圈 ---
   
   echo "開始產生NGINX類比日誌到 $LOG_FILE ..."
   echo "每隔 5 秒產生一條日誌。"
   echo "按 Ctrl+C 停止。"
   sleep 2
   
   # 無限迴圈，持續組建記錄檔
   while true; do
       # 1. 擷取目前時間，格式為 NGINX 預設的 [dd/Mon/YYYY:HH:MM:SS +ZZZZ]
       timestamp=$(date +'%d/%b/%Y:%H:%M:%S %z')
   
       # 2. 從池中隨機播放資料
       ip=$(random_element IP_ADDRESSES[@])
       method=$(random_element HTTP_METHODS[@])
       path=$(random_element REQUEST_PATHS[@])
       status=$(random_element HTTP_STATUSES[@])
       user_agent=$(random_element USER_AGENTS[@])
       referer=$(random_element REFERERS[@])
   
       # 3. 產生隨機的響應體大小 (bytes)
       bytes_sent=$((RANDOM % 5000 + 100)) # 100到5100之間的隨機數
   
       # 4. 拼接成一條完整的 NGINX combined 格式日誌
       # 格式: $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent"
       log_line="$ip - - [$timestamp] \"$method $path HTTP/1.1\" $status $bytes_sent \"$referer\" \"$user_agent\""
   
       # 5. 將日誌行追加到檔案中
       # echo "$log_line" >> "$LOG_FILE"
       echo "$log_line" | sudo tee -a "$LOG_FILE" > /dev/null
       
       # 6. 等待5秒，進入下一次迴圈
       sleep 5
   done

3. 授予執行許可權：chmod +x generate_nginx_logs.sh。

4. 在後台運行指令碼：nohup ./generate_nginx_logs.sh &。

後續步驟

通過本教程，您已成功完成日誌採集、查詢分析、可視化儀錶盤和警示配置的全流程操作。建議您繼續閱讀以下文檔，深入理解核心概念，並結合業務需求合理規劃日誌資源體系：

• 理解Project與Store概念。

• 熟悉資料擷取方式，根據實際業務情境選擇合適的採集方式。

• 瞭解儲存資源層級關係說明並規劃資源周期，合理分配Shard數量。

常見問題