Container Service for Kubernetes：配置高負載情境的Nginx Ingress Controller

採用獨佔節點池部署

使用獨佔節點池部署，可使Nginx Ingress Controller的工作負載與叢集中其他應用完全隔離，不受資源搶佔影響。

調整Server Load Balancer執行個體規格

Server Load Balancer執行個體規格決定了Nginx Ingress的最大串連數和QPS上限，建議使用高規格執行個體。

執行以下命令編輯Service，通過service.beta.kubernetes.io/alibaba-cloud-loadbalancer-spec註解指定Server Load Balancer執行個體規格：

kubectl edit service -n kube-system nginx-ingress-lb

apiVersion: v1
kind: Service
metadata:
  annotations:
    ...
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-spec: "slb.s3.large" # 指定Server Load Balancer執行個體規格
  name: nginx-ingress-lb
  namespace: kube-system
  ...
spec:
  ...

僅2025年06月前建立的按規格計費CLB執行個體支援此操作。CLB執行個體規格詳情請參見執行個體效能。

使用HPA進行自動擴容

採用獨佔節點池部署的Pod通常已具備應對業務突發流量的能力。如仍無法滿足要求，可配置HPA（Horizontal Pod Autoscaler）對Nginx Ingress Controller進行自動擴容。

建立並儲存以下內容為nginx-hpa.yaml，然後執行kubectl apply -f nginx-hpa.yaml建立HPA：

apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: nginx-ingress-controller-hpa
  namespace: kube-system
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: nginx-ingress-controller
  minReplicas: 2
  maxReplicas: 5
  metrics:
  - type: Resource
    resource:
      name: cpu
      target:
        type: Utilization
        averageUtilization: 50

SLS日誌

• 在Container Service管理主控台網路 > 路由頁面的Nginx Ingress 概覽中，可以查看日誌大盤，確認用戶端訪問資料；也可以在營運管理 > 日誌中心 > 應用日誌 > 日誌庫中選擇nginx-ingress，查看具體日誌條目。

• 如果日誌大盤中多項資料顯示null，或日誌庫中nginx-ingress的日誌為空白，說明在建立叢集時未開啟日誌相關選項，請參見採集與分析 Nginx Ingress 訪問日誌手動設定。

Prometheus監控

登入Container Service管理主控台，在營運管理 > Prometheus 監控中可以查看監控大盤。

• 如果頁面顯示還未安裝組件，請根據提示完成相關組件的安裝和監控大盤的檢查。

• 選擇叢集Ingress流量監控頁簽，然後在Controller Class中選擇k8s.io/ingress-nginx，即可查看Nginx Ingress監控。如果未顯示k8s.io/ingress-nginx選項，表明還未安裝Nginx Ingress Controller組件。

請為Ingress資源添加host欄位。在預設配置下，沒有host欄位的Ingress資源不會被監控採集。如果無需區分Host進行監控，也可以在Nginx Ingress Controller的Deployment中修改controller啟動參數，加入--metrics-per-host=false來解決該問題。

配置日誌自動輪轉

Nginx Ingress Controller Pod將日誌同時記錄到/dev/stdout和容器內/var/log/nginx/目錄。隨著記錄檔逐漸增大，記錄新日誌將耗費更多資源。通過日誌輪轉，定期將一個時間段中的日誌儲存到獨立檔案中，並清除原有日誌記錄，可降低記錄日誌的資源消耗。

1. 登入部署Nginx Ingress Controller Pod的節點。

2. 在/root目錄下添加檔案nginx-log-rotate.sh。

   containerd節點

   #!/bin/bash
   # 最多保留記錄檔個數，可根據需求進行調整。
   keep_log_num=5
   
   #擷取所有運行中的ingress-nginx容器ID
   ingress_nginx_container_ids=$(crictl ps | grep nginx-ingress-controller | grep -v pause | awk '{print $1}')
   if [[ -z "$ingress_nginx_container_ids" ]]; then
    echo "error: failed to get ingress nginx container ids"
    exit 1
   fi
   
   # 隨機睡眠5~10秒。
   sleep $(( RANDOM % (10 - 5 + 1 ) + 5 ))
   for id in $ingress_nginx_container_ids; do
    crictl exec $id bash -c "cd /var/log/nginx; if [[ \$(ls access.log-* | wc -l) -gt $keep_log_num ]]; then rm -f \$(ls -t access.log-* | tail -1); fi ; mv access.log access.log-\$(date +%F:%T) ; kill -USR1 \$(cat /tmp/nginx/nginx.pid)"
   done

   Docker節點

   #!/bin/bash
   # 最多保留記錄檔個數，可根據需求進行調整。
   keep_log_num=5
   
   #擷取所有運行中的ingress-nginx容器ID
   ingress_nginx_container_ids=$(docker ps | grep nginx-ingress-controller | grep -v pause | awk '{print $1}')
   if [[ -z "$ingress_nginx_container_ids" ]]; then
    echo "error: failed to get ingress nginx container ids"
    exit 1
   fi
   
   # 隨機睡眠5~10秒。
   sleep $(( RANDOM % (10 - 5 + 1 ) + 5 ))
   for id in $ingress_nginx_container_ids; do
    docker exec $id bash -c "cd /var/log/nginx; if [[ \$(ls access.log-* | wc -l) -gt $keep_log_num ]]; then rm -f \$(ls -t access.log-* | tail -1); fi ; mv access.log access.log-\$(date +%F:%T) ; kill -USR1 \$(cat /tmp/nginx/nginx.pid)"
   done

3. 對nginx-log-rotate.sh檔案添加可執行許可權。

   chmod 755 /root/nginx-log-rotate.sh

4. 在/etc/crontab檔案結尾添加以下內容：

   以下Cron運算式表明每15分鐘對日誌輪轉一次，可根據實際需求進行調整。

   */15 * * * *  root /root/nginx-log-rotate.sh

關閉指標採集

Nginx Ingress Controller預設開啟指標採集，會消耗一定的CPU資源。如無需擷取指標，建議關閉採集。

執行kubectl edit deploy nginx-ingress-controller -n kube-system，編輯Controller所屬的Deployment。在容器配置部分添加--enable-metrics=false配置，即可關閉所有指標採集。

spec:
  containers:
  - args:
    - ...
    - --enable-metrics=false

spec:
  containers:
  - args:
    - ...
    - --enable-metrics=true
    - --exclude-socket-metrics # 僅在--enable-metrics=true時有效

啟用Brotli壓縮

Brotli壓縮演算法相較於Nginx Ingress Controller預設的gzip壓縮演算法，在文本類資料（如網頁資源）上的壓縮率通常高約15%~30%。

具體提升取決於情境的詳細情況。

執行kubectl edit cm -n kube-system nginx-configuration編輯Nginx Ingress ConfigMap，開啟Brotli壓縮。

data:
  enable-brotli: "true"
  brotli-level: "6"
  brotli-types: "text/xml image/svg+xml application/x-font-ttf image/vnd.microsoft.icon application/x-font-opentype application/json font/eot application/vnd.ms-fontobject application/javascript font/otf application/xml application/xhtml+xml text/javascript application/x-javascript text/plain application/x-font-truetype application/xml+rss image/x-icon font/opentype text/css image/x-win-bitmap"

• enable-brotli：是否啟用Brotli壓縮演算法，取值為 true 或 false。

• brotli-level：壓縮層級，範圍[1~11]，預設為4。層級越高，CPU效能消耗越大。

• brotli-types：指定使用Brotli即時壓縮的MIME類型。

調整逾時策略

通過減少FIN_WAIT2與TIME_WAIT狀態的逾時時間，Nginx Ingress Controller可更快地關閉已完成資料發送的串連，降低資源佔用。

執行kubectl edit deploy nginx-ingress-controller -n kube-system，編輯 Nginx Ingress Controller所屬的Deployment。

在initContainers中新增以下配置項：

• net.ipv4.tcp_fin_timeout：FIN_WAIT2狀態的逾時時間，預設為60秒。

• net.netfilter.nf_conntrack_tcp_timeout_time_wait：TIME_WAIT狀態下的串連保持時間，預設為60秒。

dnsPolicy: ...
initContainers:
- command:  
  - /bin/sh
  - -c
  - |
    if [ "$POD_IP" != "$HOST_IP" ]; then
    mount -o remount rw /proc/sys
    sysctl -w net.core.somaxconn=65535
    sysctl -w net.ipv4.ip_local_port_range="1024 65535"
    sysctl -w kernel.core_uses_pid=0
    sysctl -w net.ipv4.tcp_fin_timeout=15 # FIN_WAIT2狀態上限設定為15秒
    sysctl -w net.netfilter.nf_conntrack_tcp_timeout_time_wait=30 # TIME_WAIT狀態上限設定為30秒
    fi
  env:                                                           
    ...                                                     
  image: ...
  imagePullPolicy: IfNotPresent                           
  name: init-sysctl            

最佳化HTTPS效能

調整下列參數最佳化Nginx Ingress Controller的HTTPS效能。它們儲存在ConfigMap nginx-configuration中。

kubectl edit cm -n kube-system nginx-configuration

• SSL會話緩衝與逾時

  設定SSL 共用工作階段緩衝的大小以及逾時時間，可以減少SSL握手的開銷。

  data:
    ssl-session-cache-size: "10m"
    ssl-session-timeout: "10m"

  對應的nginx.conf配置

  對應Nginx側的nginx.conf配置，可以根據實際情境需求調整。

  ssl_session_cache shared:SSL:10m; # 1m儲存約4000個會話
  ssl_session_timeout 10m;

• 啟用OCSP Stapling，減少用戶端認證驗證的時間。

  data:
    enable-ocsp: "true"

• 啟用TLS 1.3的0-RTT功能，允許用戶端在握手完成之前就發送資料，從而減少串連建立的延遲。

  data:
    ssl-early-data: "true"
    ssl-protocols: "TLSv1.3"

• 調整Cipher優先順序（無需手動調優）

  通過調整加密套件的優先順序，可以有效降低延遲。Nginx Ingress Controller的預設配置已進行了最佳化。

  ssl_ciphers 'ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384';
  ssl_prefer_server_ciphers on;    # 優先使用伺服器端的Cipher配置。

配置其他效能相關選項

下列配置項也會影響Nginx Ingress Controller的效能，它們儲存在ConfigMap nginx-configuration中。執行kubectl edit cm -n kube-system nginx-configuration編輯ConfigMap。