Simple Log Service:LoongCollector を使用して ECS テキストログを収集および分析する

始める前に

アカウント権限の設定

• Alibaba Cloud アカウント

  Alibaba Cloud アカウントは、デフォルトで SLS への完全かつ無制限のアクセス権を持っています。操作は必要ありません。

• Resource Access Management (RAM) ユーザー

  RAM ユーザーはデフォルトでは権限を持たず、Alibaba Cloud アカウントによって明示的にアクセスを許可される必要があります。これには 2 つの方法があります。

  • 次のシステムポリシーをアタッチします。

    • AliyunLogFullAccess: プロジェクトや Logstore などの SLS リソースを作成および管理します。

    • AliyunECSFullAccess: ECS インスタンスに収集エージェントをインストールします。

    • AliyunOOSFullAccess: CloudOps Orchestration Service (OOS) を使用して ECS インスタンスに収集エージェントを自動的にインストールします。

  • カスタムポリシーの作成とアタッチ

    よりきめ細かい制御を行うには、カスタムポリシーを作成してアタッチし、最小権限の原則に基づいて RAM ユーザーに権限を付与します。

ECS インスタンスの準備

ECS インスタンスがない場合は、「このドキュメント」を参照して作成してください。インスタンスのセキュリティグループには、ポート 80 (HTTP) とポート 443 (HTTPS) のトラフィックを許可するアウトバウンドルールが必要です。

プロジェクトと Logstore の作成

ステップ 1. モックログの生成

1. ECS インスタンスに接続します。

2. generate_nginx_logs.sh という名前のスクリプトファイルを作成し、次の内容をファイルに貼り付けます。このスクリプトは、標準の NGINX アクセスログエントリを 5 秒ごとに /var/log/nginx/access.log ファイルに書き込みます。

   generate_nginx_logs.sh

   #!/bin/bash
   
   #==============================================================================
   # スクリプト名: generate_nginx_logs.sh
   # 説明: NGINX サーバーをシミュレートして、access.log ファイルを継続的に生成します。
   #==============================================================================
   
   # --- 設定可能なパラメーター ---
   
   # ログファイルパス
   LOG_FILE="/var/log/nginx/access.log"
   
   # --- モックデータプール ---
   
   # ランダム IP アドレスプール
   IP_ADDRESSES=(
       "192.168.1.10" "10.0.0.5" "172.16.31.40" "203.0.113.15"
       "8.8.8.8" "1.1.X.X" "91.198.XXX.XXX" "114.114.114.114"
       "180.76.XX.XX" "223.5.5.5"
   )
   
   # HTTP メソッドプール
   HTTP_METHODS=("GET" "POST" "PUT" "DELETE" "HEAD")
   
   # 一般的なリクエストパスプール
   REQUEST_PATHS=(
       "/index.html" "/api/v1/users" "/api/v1/products?id=123" "/images/logo.png"
       "/static/js/main.js" "/static/css/style.css" "/login" "/admin/dashboard"
       "/robots.txt" "/sitemap.xml" "/non_existent_page.html"
   )
   
   # HTTP ステータスコードプール (重みを調整できます。たとえば、200 を追加して確率を上げます。)
   HTTP_STATUSES=(200 200 200 200 201 301 404 404 500 502 403)
   
   # 一般的な User-Agent プール
   USER_AGENTS=(
       "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36"
       "Mozilla/5.0 (iPhone; CPU iPhone OS 14_6 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.1 Mobile/15E148 Safari/604.1"
       "Mozilla/5.0 (Linux; Android 11; SM-G991U) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.120 Mobile Safari/537.36"
       "curl/7.68.0"
       "Googlebot/2.1 (+http://www.google.com/bot.html)"
   )
   
   # 一般的な Referer プール
   REFERERS=(
       "https://www.google.com/"
       "https://www.bing.com/"
       "https://github.com/"
       "https://stackoverflow.com/"
       "-"
       "-"
       "-"
   )
   
   
   # --- コア機能 ---
   
   # 配列から要素をランダムに選択する関数を定義します
   # 使用法: random_element "array_name"
   function random_element() {
       local arr=("${!1}")
       echo "${arr[$((RANDOM % ${#arr[@]}))]}"
   }
   
   # Ctrl+C 割り込みシグナルをキャッチして正常に終了します
   trap 'echo -e "\n\nScript interrupted. Stopping log generation..."; exit 0;' SIGINT
   
   # --- メインループ ---
   
   echo "Start generating mock NGINX logs to $LOG_FILE ..."
   echo "Generating one log entry every 5 seconds."
   echo "Press Ctrl+C to stop."
   sleep 2
   
   # ログを継続的に生成するための無限ループ
   while true; do
       # 1. デフォルトの NGINX 形式で現在時刻を取得します: [dd/Mon/YYYY:HH:MM:SS +ZZZZ]
       timestamp=$(date +'%d/%b/%Y:%H:%M:%S %z')
   
       # 2. プールからデータをランダムに選択します
       ip=$(random_element IP_ADDRESSES[@])
       method=$(random_element HTTP_METHODS[@])
       path=$(random_element REQUEST_PATHS[@])
       status=$(random_element HTTP_STATUSES[@])
       user_agent=$(random_element USER_AGENTS[@])
       referer=$(random_element REFERERS[@])
   
       # 3. ランダムな応答本文サイズ (バイト単位) を生成します
       bytes_sent=$((RANDOM % 5000 + 100)) # 100 から 5100 までの乱数
   
       # 4. 完全な NGINX 結合形式のログエントリを組み立てます
       # Format: $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent"
       log_line="$ip - - [$timestamp] \"$method $path HTTP/1.1\" $status $bytes_sent \"$referer\" \"$user_agent\""
   
       # 5. ログ行をファイルに追加します
       echo "$log_line" >> "$LOG_FILE"
       
       # 6. 次のループの前に 5 秒間待機します
       sleep 5
   done

3. ファイルに実行権限を付与します: chmod +x generate_nginx_logs.sh。

4. バックグラウンドでスクリプトを実行します: nohup ./generate_nginx_logs.sh &。

ステップ 2. LoongCollector のインストール

ステップ 4. ログのクエリと分析

ステップ 5. モニタリングアラートの設定

モニタリングアラートを設定して、エラーの急増など、サービスの異常が発生したときに自動的に通知を送信します。

1. 左側のナビゲーションウィンドウで、 [アラート] をクリックします。

2. アクションポリシーを作成します。

   • [通知管理] > [アクションポリシー] タブで、[作成] をクリックします。

   • [ID] (例: send-notification-to-admin) と [名前] を設定します。

   • [プライマリアクションポリシー] で、 [アクショングループ] をクリックします。

   • [通知方法] (例: [SMS メッセージ]) を選択し、[受信者] を構成し、[アラートテンプレート] を選択します。

   • [確認] をクリックします。

3. アラートルールを作成します。

   1. [アラートルール] タブで、[アラートの作成] をクリックします。

   2. ルール名 (例: Too many server 5xx errors) を入力します。

   3. [クエリ統計] フィールドで、[作成] をクリックしてクエリ条件を設定します。

      • Logstore: nginx-access-log を選択します。

      • 時間範囲: 15 分 (相対)。

      • クエリ: status >= 500 | SELECT * を入力します。

      • [プレビュー] をクリックしてデータを確認し、[OK] をクリックします。

   4. トリガー条件: クエリ結果に 100 を超えるエントリが含まれている場合に重大なアラートをトリガーするようにルールを構成します。

      この構成では、15 分以内に 100 を超える 5xx エラーが発生した場合にアラートがトリガーされます。

   5. [宛先]: [Simple Log Service 通知] を選択して有効にします。

      • [アクションポリシー] で、前のステップで作成したアクションポリシーを選択します。

      • [繰り返し間隔]: 過剰な通知を避けるために 15 分に設定します。

   6. [OK] をクリックしてアラートルールを保存します。

4. 構成の確認: アラート条件が満たされると、構成された通知チャネルにアラートが送信されます。トリガーされたすべてのアラートレコードは [アラート履歴] ページで表示できます。

ステップ 6. リソースのクリーンアップ

課金を避けるため、操作完了後に作成したすべてのリソースをクリーンアップしてください。

1. ログ生成スクリプトの停止

   ECS インスタンスに接続し、次のコマンドを実行してログ生成スクリプトを停止します。

   kill $(ps aux | grep '[g]enerate_nginx_logs.sh' | awk '{print $2}')

2. LoongCollector のアンインストール (オプション)

   1. 実行を高速化するには、次のコマンドの ${region_id} を、お使いの ECS インスタンスの リージョン ID に置き換えます。

      wget https://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/loongcollector.sh -O loongcollector.sh;

   2. アンインストールコマンドを実行します。

      chmod +x loongcollector.sh; sudo ./loongcollector.sh uninstall;

3. プロジェクトの削除

   警告

   プロジェクトを削除すると、そのすべてのログデータと構成情報が完全に削除されます。データ損失を避けるため、削除する前に操作を慎重に確認してください。

   1. Simple Log Service コンソール のプロジェクトリストページで、作成したプロジェクト (例: nginx-quickstart-abc) を見つけます。

   2. [操作] 列で、[削除] をクリックします。

   3. 表示されるパネルで、プロジェクト名を入力し、削除理由を選択します。

   4. [OK] をクリックします。この操作により、プロジェクトとその関連リソース (Logstore、収集構成、アラートルールなど) がすべて削除されます。

よくある質問