Simple Log Service:Coletar e analisar logs de texto do ECS com o LoongCollector

Pré-requisitos

Ativar serviços e preparar uma conta

• Ativar o SLS: Se esta for a primeira vez que você usa o SLS, faça login no console do Simple Log Service e ative o serviço conforme solicitado.

• Preparar uma conta:

  • Faça login com uma conta Alibaba Cloud: Esta conta possui todas as permissões por padrão e pode ser usada diretamente.

  • Faça login com um usuário RAM: A conta Alibaba Cloud deve conceder as políticas de acesso necessárias ao usuário RAM:

    • AliyunLogFullAccess: Usada para criar e gerenciar recursos do SLS, como projetos e logstores.

    • AliyunECSFullAccess: Usada para instalar o agente de coleta em uma instância ECS.

    • AliyunOOSFullAccess: Usada para instalar automaticamente o agente de coleta em uma instância ECS por meio do Alibaba Cloud Operation Orchestration Service (OOS).

    Em um ambiente de produção, você pode criar políticas de permissão personalizadas para gerenciar permissões de usuários RAM de forma mais granular.

Preparar uma instância ECS

Certifique-se de que o grupo de segurança da instância ECS permita tráfego de saída na porta 80 (HTTP) e na porta 443 (HTTPS).

Gerar logs simulados

1. Faça login na instância ECS.

2. Crie um arquivo de script chamado generate_nginx_logs.sh e cole o conteúdo a seguir. Este script grava uma entrada de log de acesso padrão do NGINX no arquivo /var/log/nginx/access.log a cada 5 segundos.

   generate_nginx_logs.sh

   #!/bin/bash
   
   #==============================================================================
   # Script Name: generate_nginx_logs.sh
   # Script Description: Simulates an NGINX server and continuously writes logs to access.log.
   #==============================================================================
   
   # --- Configurable Parameters ---
   
   # Log file path
   LOG_FILE="/var/log/nginx/access.log"
   
   # --- Mock Data Pools ---
   
   # Random IP address pool
   IP_ADDRESSES=(
       "192.168.1.10" "10.0.0.5" "172.16.31.40" "203.0.113.15"
       "8.8.8.8" "1.1.X.X" "91.198.XXX.XXX" "114.114.114.114"
       "180.76.XX.XX" "223.5.5.5"
   )
   
   # HTTP request method pool
   HTTP_METHODS=("GET" "POST" "PUT" "DELETE" "HEAD")
   
   # Common request path pool
   REQUEST_PATHS=(
       "/index.html" "/api/v1/users" "/api/v1/products?id=123" "/images/logo.png"
       "/static/js/main.js" "/static/css/style.css" "/login" "/admin/dashboard"
       "/robots.txt" "/sitemap.xml" "/non_existent_page.html"
   )
   
   # HTTP status code pool (You can adjust the weights. For example, add more 200s to increase their probability.)
   HTTP_STATUSES=(200 200 200 200 201 301 404 404 500 502 403)
   
   # Common User-Agent pool
   USER_AGENTS=(
       "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36"
       "Mozilla/5.0 (iPhone; CPU iPhone OS 14_6 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.1 Mobile/15E148 Safari/604.1"
       "Mozilla/5.0 (Linux; Android 11; SM-G991U) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.120 Mobile Safari/537.36"
       "curl/7.68.0"
       "Googlebot/2.1 (+http://www.google.com/bot.html)"
   )
   
   # Common Referer pool
   REFERERS=(
       "https://www.google.com/"
       "https://www.bing.com/"
       "https://github.com/"
       "https://stackoverflow.com/"
       "-"
       "-"
       "-"
   )
   #  Check and create the log directory
   LOG_DIR=$(dirname "$LOG_FILE")
   if [ ! -d "$LOG_DIR" ]; then
       echo "Log directory '$LOG_DIR' does not exist. Attempting to create..."
       # Use sudo to create the directory because root permissions are usually required
       sudo mkdir -p "$LOG_DIR"
       if [ $? -ne 0 ]; then
           echo "Error: Failed to create directory '$LOG_DIR'. Check permissions or create it manually."
           exit 1
       fi
       echo "Directory created successfully."
   fi
   
   # Check write permissions for the log file
   trap 'echo -e "\n\nScript interrupted. Stopping log generation..."; exit 0;' SIGINT
   
   # --- Core Function ---
   
   # Define a function to randomly select an element from an array
   # Usage: random_element "array_name"
   function random_element() {
       local arr=("${!1}")
       echo "${arr[$((RANDOM % ${#arr[@]}))]}"
   }
   
   # Catch the Ctrl+C interrupt signal for a graceful exit
   trap 'echo -e "\n\nScript interrupted. Stopping log generation..."; exit 0;' SIGINT
   
   # --- Main Loop ---
   
   echo "Start generating mock NGINX logs to $LOG_FILE ..."
   echo "A log entry is generated every 5 seconds."
   echo "Press Ctrl+C to stop."
   sleep 2
   
   # Infinite loop to continuously generate logs
   while true; do
       # 1. Get the current time in the default NGINX format: [dd/Mon/YYYY:HH:MM:SS +ZZZZ]
       timestamp=$(date +'%d/%b/%Y:%H:%M:%S %z')
   
       # 2. Randomly select data from the pools
       ip=$(random_element IP_ADDRESSES[@])
       method=$(random_element HTTP_METHODS[@])
       path=$(random_element REQUEST_PATHS[@])
       status=$(random_element HTTP_STATUSES[@])
       user_agent=$(random_element USER_AGENTS[@])
       referer=$(random_element REFERERS[@])
   
       # 3. Generate a random response body size (in bytes)
       bytes_sent=$((RANDOM % 5000 + 100)) # A random number between 100 and 5100
   
       # 4. Concatenate into a complete NGINX combined format log entry
       # Format: $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent"
       log_line="$ip - - [$timestamp] \"$method $path HTTP/1.1\" $status $bytes_sent \"$referer\" \"$user_agent\""
   
       # 5. Append the log line to the file
       # echo "$log_line" >> "$LOG_FILE"
       echo "$log_line" | sudo tee -a "$LOG_FILE" > /dev/null
       
       # 6. Wait for 5 seconds before the next loop
       sleep 5
   done

3. Conceda permissões de execução: chmod +x generate_nginx_logs.sh.

4. Execute o script em segundo plano: nohup ./generate_nginx_logs.sh &.

Próximos passos

Você concluiu o processo de coleta de logs, consulta e análise, visualização em painel e configuração de alertas. Recomendamos a leitura dos documentos a seguir para compreender melhor os conceitos principais e planejar seu sistema de recursos de log com base nas necessidades do seu negócio:

• Compreenda os conceitos de projetos e logstores.

• Familiarize-se com os métodos de coleta de dados e escolha o mais adequado para o seu cenário de negócios.

• Entenda a hierarquia de recursos de armazenamento, planeje o ciclo de vida dos recursos e aloque um número adequado de shards.

FAQ