Container Service for Kubernetes:Konfigurasikan NGINX Ingress controller untuk beban tinggi

Deploy pada kelompok node khusus

Kelompok node khusus mengisolasi NGINX Ingress controller dari beban kerja lain, sehingga mencegah konflik sumber daya.

Sesuaikan spesifikasi instans CLB

Spesifikasi instans CLB menentukan jumlah koneksi maksimum dan QPS untuk NGINX Ingress controller. Gunakan instans ber-spesifikasi tinggi.

Edit Service untuk menentukan spesifikasi instans CLB menggunakan anotasi service.beta.kubernetes.io/alibaba-cloud-loadbalancer-spec:

kubectl edit service -n kube-system nginx-ingress-lb

apiVersion: v1
kind: Service
metadata:
  annotations:
    ...
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-spec: "slb.s3.large" # Tentukan spesifikasi instans CLB
  name: nginx-ingress-lb
  namespace: kube-system
  ...
spec:
  ...

Hanya instans CLB berbasis spesifikasi yang dibuat sebelum Juni 2025 yang mendukung operasi ini. Lihat Spesifikasi performa.

Gunakan HPA untuk autoscaling

Jika Pod pada kelompok node khusus tidak mampu menyerap lonjakan trafik, konfigurasikan HPA untuk melakukan autoscaling pada NGINX Ingress controller.

Simpan konten berikut sebagai nginx-hpa.yaml dan terapkan dengan kubectl apply -f nginx-hpa.yaml:

apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: nginx-ingress-controller-hpa
  namespace: kube-system
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: nginx-ingress-controller
  minReplicas: 2
  maxReplicas: 5
  metrics:
  - type: Resource
    resource:
      name: cpu
      target:
        type: Utilization
        averageUtilization: 50

Log SLS

• Di ACK console, buka tab NGINX Ingress Overview pada halaman Network > Ingresses. Di sini, Anda dapat melihat dasbor log untuk memeriksa data akses klien. Anda juga dapat membuka Operations > Log Center > Application Logs > Logstore dan pilih nginx-ingress untuk melihat entri log tertentu.

• Jika dasbor log menampilkan titik data null, atau log nginx-ingress di Logstore kosong, artinya pencatatan log tidak diaktifkan saat pembuatan kluster. Lihat Kumpulkan dan analisis log akses NGINX Ingress.

Pemantauan Prometheus

Masuk ke ACK console, lalu navigasi ke Operations > Prometheus Monitoring untuk melihat dasbor pemantauan.

• Jika komponen belum terinstal, ikuti petunjuk untuk menginstalnya dan periksa dasbor.

• Pilih tab Ingresses. Pada dropdown Controller Class, pilih k8s.io/ingress-nginx untuk melihat metrik NGINX Ingress. Jika k8s.io/ingress-nginx tidak muncul, berarti NGINX Ingress controller belum terinstal.

Tambahkan bidang host ke resource Ingress Anda. Resource tanpa host tidak diambil metriknya secara default. Untuk melewatkan pemantauan per-host, tambahkan --metrics-per-host=false ke argumen controller dalam Penyebaran NGINX Ingress.

Konfigurasikan rotasi log otomatis

Pod NGINX Ingress controller mencatat log ke /dev/stdout dan /var/log/nginx/. Saat file log membesar, penulisan entri baru semakin banyak mengonsumsi sumber daya. Rotasi otomatis mengatasi hal ini dengan secara berkala mengarsipkan dan membersihkan log.

1. Masuk ke node yang menjalankan Pod NGINX Ingress controller.

2. Buat file nginx-log-rotate.sh di direktori /root.

   Node Containerd

   #!/bin/bash
   # Jumlah maksimum file log yang disimpan. Sesuaikan sesuai kebutuhan.
   keep_log_num=5
   
   # Dapatkan ID semua kontainer ingress-nginx yang sedang berjalan.
   ingress_nginx_container_ids=$(crictl ps | grep nginx-ingress-controller | grep -v pause | awk '{print $1}')
   if [[ -z "$ingress_nginx_container_ids" ]]; then
    echo "error: failed to get ingress nginx container ids"
    exit 1
   fi
   
   # Tunggu selama interval acak antara 5 hingga 10 detik.
   sleep $(( RANDOM % (10 - 5 + 1 ) + 5 ))
   for id in $ingress_nginx_container_ids; do
    crictl exec $id bash -c "cd /var/log/nginx; if [[ \$(ls access.log-* | wc -l) -gt $keep_log_num ]]; then rm -f \$(ls -t access.log-* | tail -1); fi ; mv access.log access.log-\$(date +%F:%T) ; kill -USR1 \$(cat /tmp/nginx/nginx.pid)"
   done

   Node Docker

   #!/bin/bash
   # Jumlah maksimum file log yang disimpan. Sesuaikan sesuai kebutuhan.
   keep_log_num=5
   
   # Dapatkan ID semua kontainer ingress-nginx yang sedang berjalan.
   ingress_nginx_container_ids=$(docker ps | grep nginx-ingress-controller | grep -v pause | awk '{print $1}')
   if [[ -z "$ingress_nginx_container_ids" ]]; then
    echo "error: failed to get ingress nginx container ids"
    exit 1
   fi
   
   # Tunggu selama interval acak antara 5 hingga 10 detik.
   sleep $(( RANDOM % (10 - 5 + 1 ) + 5 ))
   for id in $ingress_nginx_container_ids; do
    docker exec $id bash -c "cd /var/log/nginx; if [[ \$(ls access.log-* | wc -l) -gt $keep_log_num ]]; then rm -f \$(ls -t access.log-* | tail -1); fi ; mv access.log access.log-\$(date +%F:%T) ; kill -USR1 \$(cat /tmp/nginx/nginx.pid)"
   done

3. Buat file nginx-log-rotate.sh dapat dieksekusi.

   chmod 755 /root/nginx-log-rotate.sh

4. Tambahkan baris berikut ke /etc/crontab:

   Ini akan merotasikan log setiap 15 menit. Sesuaikan jadwal sesuai kebutuhan.

   */15 * * * *  root /root/nginx-log-rotate.sh

Nonaktifkan pengumpulan metrik

Pengumpulan metrik diaktifkan secara default dan mengonsumsi CPU. Nonaktifkan jika Anda tidak memerlukannya.

Edit Penyebaran controller (kubectl edit deploy nginx-ingress-controller -n kube-system). Tambahkan --enable-metrics=false ke argumen kontainer untuk menonaktifkan metrik.

spec:
  containers:
  - args:
    - ...
    - --enable-metrics=false

spec:
  containers:
  - args:
    - ...
    - --enable-metrics=true
    - --exclude-socket-metrics # Hanya berlaku ketika --enable-metrics=true

Aktifkan kompresi Brotli

Algoritma Brotli biasanya mencapai kompresi 15%–30% lebih baik daripada gzip untuk sumber daya web berbasis teks.

Peningkatan aktual bergantung pada skenario Anda.

Edit ConfigMap NGINX Ingress (kubectl edit cm -n kube-system nginx-configuration) untuk mengaktifkan kompresi Brotli.

data:
  enable-brotli: "true"
  brotli-level: "6"
  brotli-types: "text/xml image/svg+xml application/x-font-ttf image/vnd.microsoft.icon application/x-font-opentype application/json font/eot application/vnd.ms-fontobject application/javascript font/otf application/xml application/xhtml+xml text/javascript application/x-javascript text/plain application/x-font-truetype application/xml+rss image/x-icon font/opentype text/css image/x-win-bitmap"

• enable-brotli: Menentukan apakah kompresi Brotli diaktifkan. Nilai valid: true, false.

• brotli-level: Tingkat kompresi. Nilai valid: 1–11. Default: 4. Nilai lebih tinggi mengonsumsi lebih banyak CPU.

• brotli-types: Jenis MIME yang dikompresi dengan Brotli.

Sesuaikan kebijakan timeout

Mengurangi timeout FIN_WAIT2 dan TIME_WAIT memungkinkan NGINX Ingress controller mendaur ulang koneksi yang telah selesai lebih cepat, sehingga membebaskan sumber daya.

Edit Penyebaran NGINX Ingress controller (kubectl edit deploy nginx-ingress-controller -n kube-system).

Tambahkan hal berikut ke initContainers:

• net.ipv4.tcp_fin_timeout: Timeout FIN_WAIT2. Default: 60 detik.

• net.netfilter.nf_conntrack_tcp_timeout_time_wait: Timeout TIME_WAIT. Default: 60 detik.

dnsPolicy: ...
initContainers:
- command:  
  - /bin/sh
  - -c
  - |
    if [ "$POD_IP" != "$HOST_IP" ]; then
    mount -o remount rw /proc/sys
    sysctl -w net.core.somaxconn=65535
    sysctl -w net.ipv4.ip_local_port_range="1024 65535"
    sysctl -w kernel.core_uses_pid=0
    sysctl -w net.ipv4.tcp_fin_timeout=15 # Atur timeout untuk status FIN_WAIT2 menjadi 15 detik
    sysctl -w net.netfilter.nf_conntrack_tcp_timeout_time_wait=30 # Atur timeout untuk status TIME_WAIT menjadi 30 detik
    fi
  env:                                                           
    ...                                                     
  image: ...
  imagePullPolicy: IfNotPresent                           
  name: init-sysctl            

Optimalkan performa HTTPS

Sesuaikan parameter berikut dalam ConfigMap nginx-configuration.

kubectl edit cm -n kube-system nginx-configuration

• Cache sesi SSL dan timeout

  Mengatur ukuran cache sesi SSL dan timeout mengurangi overhead handshake.

  data:
    ssl-session-cache-size: "10m"
    ssl-session-timeout: "10m"

  Konfigurasi nginx.conf yang sesuai

  Anda dapat menyesuaikan konfigurasi ini dalam file nginx.conf NGINX berdasarkan skenario Anda.

  ssl_session_cache shared:SSL:10m; # 1 MB dapat menyimpan sekitar 4.000 sesi.
  ssl_session_timeout 10m;

• Aktifkan OCSP stapling untuk mengurangi waktu verifikasi sertifikat.

  data:
    enable-ocsp: "true"

• Aktifkan TLS 1.3 0-RTT agar klien dapat mengirim data sebelum handshake selesai, sehingga mengurangi latensi pembentukan koneksi.

  data:
    ssl-early-data: "true"
    ssl-protocols: "TLSv1.3"

• Sesuaikan prioritas cipher (tidak perlu penyetelan manual)

  Prioritas suite cipher memengaruhi latensi. Konfigurasi default NGINX Ingress controller sudah dioptimalkan.

  ssl_ciphers 'ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384';
  ssl_prefer_server_ciphers on;    # Utamakan konfigurasi cipher dari server.

Konfigurasikan opsi lain yang terkait performa

Opsi ConfigMap nginx-configuration berikut juga memengaruhi performa. Jalankan kubectl edit cm -n kube-system nginx-configuration untuk mengedit.