Simple Log Service:LoongCollector を使用した ECS テキストログの収集と分析

前提条件

SLS の有効化とアカウントの準備

• SLS の有効化： 初めてご利用になる場合は、Simple Log Service コンソールにログオンし、画面の指示に従ってサービスを有効化してください。

• アカウントの準備：

  • Alibaba Cloud アカウント： デフォルトですべての権限を持ちます。

  • RAM ユーザー： RAM ユーザーを使用する場合は、必要な権限ポリシーを付与する必要があります。

    • AliyunLogFullAccess： プロジェクトや Logstore などの SLS リソースを作成および管理する権限を付与します。

    • AliyunECSFullAccess： ECS インスタンスに収集エージェントをインストールする権限を付与します。

    • AliyunOOSFullAccess： Operation Orchestration Service (OOS) を通じて、ECS インスタンスに収集エージェントを自動的にインストールする権限を付与します。

    本番環境では、RAM ユーザーの権限をより細かく制御するために、カスタム権限ポリシーを作成できます。

ECS インスタンスの準備

ECS インスタンスのセキュリティグループで、ポート 80 (HTTP) とポート 443 (HTTPS) のアウトバウンドトラフィックが許可されていることを確認してください。

モックログの生成

1. ECS インスタンスにログオンします。

2. generate_nginx_logs.sh という名前のスクリプトファイルを作成し、以下の内容を貼り付けます。このスクリプトは、5 秒ごとに標準的な Nginx アクセスログエントリを /var/log/nginx/access.log に書き込みます。

   generate_nginx_logs.sh

   #!/bin/bash
   
   #==============================================================================
   # スクリプト名: generate_nginx_logs.sh
   # スクリプトの説明: NGINX サーバーをシミュレートし、access.log に継続的にログを書き込みます。
   #==============================================================================
   
   # --- 設定可能なパラメータ ---
   
   # ログファイルのパス
   LOG_FILE="/var/log/nginx/access.log"
   
   # --- モックデータプール ---
   
   # ランダム IP アドレスプール
   IP_ADDRESSES=(
       "192.168.1.10" "10.0.0.5" "172.16.31.40" "203.0.113.15"
       "8.8.8.8" "1.1.X.X" "91.198.XXX.XXX" "114.114.114.114"
       "180.76.XX.XX" "223.5.5.5"
   )
   
   # HTTP リクエストメソッドプール
   HTTP_METHODS=("GET" "POST" "PUT" "DELETE" "HEAD")
   
   # 一般的なリクエストパスプール
   REQUEST_PATHS=(
       "/index.html" "/api/v1/users" "/api/v1/products?id=123" "/images/logo.png"
       "/static/js/main.js" "/static/css/style.css" "/login" "/admin/dashboard"
       "/robots.txt" "/sitemap.xml" "/non_existent_page.html"
   )
   
   # HTTP ステータスコードプール（重み付けを調整できます。例えば、200 を増やして確率を上げます）
   HTTP_STATUSES=(200 200 200 200 201 301 404 404 500 502 403)
   
   # 一般的な User-Agent プール
   USER_AGENTS=(
       "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36"
       "Mozilla/5.0 (iPhone; CPU iPhone OS 14_6 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.1 Mobile/15E148 Safari/604.1"
       "Mozilla/5.0 (Linux; Android 11; SM-G991U) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.120 Mobile Safari/537.36"
       "curl/7.68.0"
       "Googlebot/2.1 (+http://www.google.com/bot.html)"
   )
   
   # 一般的な Referer プール
   REFERERS=(
       "https://www.google.com/"
       "https://www.bing.com/"
       "https://github.com/"
       "https://stackoverflow.com/"
       "-"
       "-"
       "-"
   )
   # ログディレクトリの確認と作成
   LOG_DIR=$(dirname "$LOG_FILE")
   if [ ! -d "$LOG_DIR" ]; then
       echo "ログディレクトリ '$LOG_DIR' が存在しません。作成を試みます..."
       # 通常 root 権限が必要なため、sudo を使用してディレクトリを作成します
       sudo mkdir -p "$LOG_DIR"
       if [ $? -ne 0 ]; then
           echo "エラー: ディレクトリ '$LOG_DIR' の作成に失敗しました。権限を確認するか、手動で作成してください。"
           exit 1
       fi
       echo "ディレクトリが正常に作成されました。"
   fi
   
   # ログファイルの書き込み権限を確認
   trap 'echo -e "\n\nスクリプトが中断されました。ログ生成を停止します..."; exit 0;' SIGINT
   
   # --- コア関数 ---
   
   # 配列からランダムに要素を選択する関数を定義
   # 使用方法: random_element "array_name"
   function random_element() {
       local arr=("${!1}")
       echo "${arr[$((RANDOM % ${#arr[@]}))]}"
   }
   
   # Ctrl+C 割り込みシグナルをキャッチして、正常に終了します
   trap 'echo -e "\n\nスクリプトが中断されました。ログ生成を停止します..."; exit 0;' SIGINT
   
   # --- メインループ ---
   
   echo "$LOG_FILE へのモック NGINX ログの生成を開始します..."
   echo "5 秒ごとにログエントリが生成されます。"
   echo "停止するには Ctrl+C を押してください。"
   sleep 2
   
   # 無限ループでログを継続的に生成
   while true; do
       # 1. デフォルトの NGINX 形式で現在時刻を取得: [dd/Mon/YYYY:HH:MM:SS +ZZZZ]
       timestamp=$(date +'%d/%b/%Y:%H:%M:%S %z')
   
       # 2. プールからランダムにデータを選択
       ip=$(random_element IP_ADDRESSES[@])
       method=$(random_element HTTP_METHODS[@])
       path=$(random_element REQUEST_PATHS[@])
       status=$(random_element HTTP_STATUSES[@])
       user_agent=$(random_element USER_AGENTS[@])
       referer=$(random_element REFERERS[@])
   
       # 3. ランダムなレスポンスボディサイズを生成（バイト単位）
       bytes_sent=$((RANDOM % 5000 + 100)) # 100 から 5100 の間のランダムな数値
   
       # 4. 完全な NGINX combined 形式のログエントリに連結
       # 形式: $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent"
       log_line="$ip - - [$timestamp] \"$method $path HTTP/1.1\" $status $bytes_sent \"$referer\" \"$user_agent\""
   
       # 5. ログ行をファイルに追加
       # echo "$log_line" >> "$LOG_FILE"
       echo "$log_line" | sudo tee -a "$LOG_FILE" > /dev/null
       
       # 6. 次のループまで 5 秒待機
       sleep 5
   done

3. 実行権限を付与します： chmod +x generate_nginx_logs.sh

4. スクリプトをバックグラウンドで実行します： nohup ./generate_nginx_logs.sh &

Next steps

Now that you have collected, queried, visualized, and monitored logs, explore the following resources to learn more:

• Projects and logstores: core resource concepts.

• Data collection methods: choose the right method for your scenario.

• Storage resource hierarchy: plan resource lifecycle and shard allocation.

FAQ