Simple Log Service:LoongCollector を使用した ECS テキストログの収集と分析

前提条件

サービスの有効化とアカウントの準備

• SLS の有効化：初めて SLS を使用する場合は、Simple Log Service コンソールにログインし、プロンプトに従ってサービスを有効化します。

• アカウントの準備：

  • Alibaba Cloud アカウントでログイン：このアカウントはデフォルトですべての権限を持っており、直接使用できます。

  • RAM ユーザーでログイン：Alibaba Cloud アカウントは、RAM ユーザーに必要なアクセスポリシーを付与する必要があります：

    • AliyunLogFullAccess：プロジェクトや Logstore などの SLS リソースを作成および管理するために使用します。

    • AliyunECSFullAccess：ECS インスタンスに収集エージェントをインストールするために使用します。

    • AliyunOOSFullAccess：Alibaba Cloud Operation Orchestration Service (OOS) を通じて ECS インスタンスに収集エージェントを自動的にインストールするために使用します。

    本番環境では、RAM ユーザーのより詳細な権限管理のために、カスタム権限ポリシーを作成できます。

ECS インスタンスの準備

ECS インスタンスのセキュリティグループで、ポート 80 (HTTP) とポート 443 (HTTPS) のアウトバウンドトラフィックが許可されていることを確認してください。

モックログの生成

1. ECS インスタンスにログインします。

2. generate_nginx_logs.sh という名前のスクリプトファイルを作成し、次の内容をファイルに貼り付けます。このスクリプトは、5 秒ごとに標準の NGINX アクセスログエントリを /var/log/nginx/access.log ファイルに書き込みます。

   generate_nginx_logs.sh

   #!/bin/bash
   
   #==============================================================================
   # スクリプト名：generate_nginx_logs.sh
   # スクリプトの説明：NGINX サーバーをシミュレートし、継続的に access.log にログを書き込みます。
   #==============================================================================
   
   # --- 設定可能なパラメータ ---
   
   # ログファイルのパス
   LOG_FILE="/var/log/nginx/access.log"
   
   # --- モックデータプール ---
   
   # ランダム IP アドレスプール
   IP_ADDRESSES=(
       "192.168.1.10" "10.0.0.5" "172.16.31.40" "203.0.113.15"
       "8.8.8.8" "1.1.X.X" "91.198.XXX.XXX" "114.114.114.114"
       "180.76.XX.XX" "223.5.5.5"
   )
   
   # HTTP リクエストメソッドプール
   HTTP_METHODS=("GET" "POST" "PUT" "DELETE" "HEAD")
   
   # 一般的なリクエストパスプール
   REQUEST_PATHS=(
       "/index.html" "/api/v1/users" "/api/v1/products?id=123" "/images/logo.png"
       "/static/js/main.js" "/static/css/style.css" "/login" "/admin/dashboard"
       "/robots.txt" "/sitemap.xml" "/non_existent_page.html"
   )
   
   # HTTP ステータスコードプール (重みを調整できます。例えば、200 を増やすとその出現確率が高まります。)
   HTTP_STATUSES=(200 200 200 200 201 301 404 404 500 502 403)
   
   # 一般的な User-Agent プール
   USER_AGENTS=(
       "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36"
       "Mozilla/5.0 (iPhone; CPU iPhone OS 14_6 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.1 Mobile/15E148 Safari/604.1"
       "Mozilla/5.0 (Linux; Android 11; SM-G991U) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.120 Mobile Safari/537.36"
       "curl/7.68.0"
       "Googlebot/2.1 (+http://www.google.com/bot.html)"
   )
   
   # 一般的な Referer プール
   REFERERS=(
       "https://www.google.com/"
       "https://www.bing.com/"
       "https://github.com/"
       "https://stackoverflow.com/"
       "-"
       "-"
       "-"
   )
   #  ログディレクトリの確認と作成
   LOG_DIR=$(dirname "$LOG_FILE")
   if [ ! -d "$LOG_DIR" ]; then
       echo "ログディレクトリ '$LOG_DIR' が存在しません。作成を試みます..."
       # 通常は root 権限が必要なため、sudo を使用してディレクトリを作成します
       sudo mkdir -p "$LOG_DIR"
       if [ $? -ne 0 ]; then
           echo "エラー：ディレクトリ '$LOG_DIR' の作成に失敗しました。権限を確認するか、手動で作成してください。"
           exit 1
       fi
       echo "ディレクトリは正常に作成されました。"
   fi
   
   # ログファイルの書き込み権限を確認します
   trap 'echo -e "\n\nスクリプトが中断されました。ログ生成を停止します..."; exit 0;' SIGINT
   
   # --- コア機能 ---
   
   # 配列からランダムに要素を選択する関数を定義します
   # 使用法：random_element "配列名"
   function random_element() {
       local arr=("${!1}")
       echo "${arr[$((RANDOM % ${#arr[@]}))]}"
   }
   
   # Ctrl+C 割り込みシグナルをキャッチして、正常に終了します
   trap 'echo -e "\n\nスクリプトが中断されました。ログ生成を停止します..."; exit 0;' SIGINT
   
   # --- メインループ ---
   
   echo "$LOG_FILE へのモック NGINX ログの生成を開始します..."
   echo "5 秒ごとにログエントリが生成されます。"
   echo "停止するには Ctrl+C を押してください。"
   sleep 2
   
   # ログを継続的に生成するための無限ループ
   while true; do
       # 1. デフォルトの NGINX 形式で現在時刻を取得します：[dd/Mon/YYYY:HH:MM:SS +ZZZZ]
       timestamp=$(date +'%d/%b/%Y:%H:%M:%S %z')
   
       # 2. プールからデータをランダムに選択します
       ip=$(random_element IP_ADDRESSES[@])
       method=$(random_element HTTP_METHODS[@])
       path=$(random_element REQUEST_PATHS[@])
       status=$(random_element HTTP_STATUSES[@])
       user_agent=$(random_element USER_AGENTS[@])
       referer=$(random_element REFERERS[@])
   
       # 3. ランダムなレスポンスボディサイズ (バイト単位) を生成します
       bytes_sent=$((RANDOM % 5000 + 100)) # 100 から 5100 までの乱数
   
       # 4. 完全な NGINX 複合形式のログエントリに連結します
       # フォーマット：$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent"
       log_line="$ip - - [$timestamp] \"$method $path HTTP/1.1\" $status $bytes_sent \"$referer\" \"$user_agent\""
   
       # 5. ログ行をファイルに追加します
       # echo "$log_line" >> "$LOG_FILE"
       echo "$log_line" | sudo tee -a "$LOG_FILE" > /dev/null
       
       # 6. 次のループの前に 5 秒間待機します
       sleep 5
   done

3. 実行権限を付与します：chmod +x generate_nginx_logs.sh。

4. スクリプトをバックグラウンドで実行します：nohup ./generate_nginx_logs.sh &。

次のステップ

これで、ログの収集、クエリと分析、ダッシュボードの可視化、アラート設定のプロセスが完了しました。ビジネスニーズに基づいてログリソースシステムを計画し、コアコンセプトをよりよく理解するために、次のドキュメントを読むことを推奨します：

• プロジェクトとLogstore の概念を理解する。

• データ収集方法をよく理解し、ビジネスシナリオに適したものを選択する。

• ストレージリソースの階層を理解し、リソースのライフサイクルを計画し、適切な数のシャードを割り当てる。

よくある質問