Container Service for Kubernetes:Troubleshoot service issues

Distribusi beban tidak merata di seluruh backend CLB

Penyebab: Algoritma penjadwalan CLB tidak sesuai dengan pola trafik.

Gejala: Distribusi permintaan tidak merata di seluruh server backend.

Solusi:

• Untuk layanan dengan externalTrafficPolicy: Local, tambahkan anotasi service.beta.kubernetes.io/alibaba-cloud-loadbalancer-scheduler:"wrr" untuk menggunakan penjadwalan Round-robin berbobot.

• Untuk layanan yang menggunakan koneksi persisten, tambahkan anotasi service.beta.kubernetes.io/alibaba-cloud-loadbalancer-scheduler:"wlc" untuk penjadwalan jumlah koneksi paling sedikit dengan bobot. Mencegah satu koneksi berumur panjang mendominasi trafik.

Error 503 saat pembaruan aplikasi

Penyebab: Pengurasan koneksi atau terminasi pod graceful belum dikonfigurasi. Selama pembaruan rolling, CLB mungkin mengarahkan trafik ke pod yang sedang dihentikan.

Gejala: Error 503 saat mengakses CLB selama pembaruan aplikasi.

Solusi:

1. Tambahkan anotasi service.beta.kubernetes.io/alibaba-cloud-loadbalancer-connection-drain untuk mengaktifkan pengurasan koneksi. Lihat Operasi umum untuk mengelola listener.

2. Konfigurasi readinessProbe dan preStop pada pod:

   • readinessProbe: Pod hanya bergabung ke backend CLB setelah melewati probe. Atur frekuensi probe, delay, dan ambang batas kegagalan agar sesuai dengan waktu startup aplikasi Anda. Timeout yang terlalu singkat menyebabkan restart pod berulang.

   • preStop dan terminationGracePeriodSeconds: Atur preStop sesuai waktu yang dibutuhkan aplikasi Anda untuk menguras permintaan yang sedang berlangsung. Atur terminationGracePeriodSeconds minimal 30 detik lebih lama dari preStop.

   apiVersion: v1
   kind: Pod
   metadata:
     name: nginx
     namespace: default
   spec:
     containers:
     - name: nginx
       image: nginx
       # Liveness probe
       livenessProbe:
         failureThreshold: 3
         initialDelaySeconds: 30
         periodSeconds: 30
         successThreshold: 1
         tcpSocket:
           port: 5084
         timeoutSeconds: 1
       # Readiness probe
       readinessProbe:
         failureThreshold: 3
         initialDelaySeconds: 30
         periodSeconds: 30
         successThreshold: 1
         tcpSocket:
           port: 5084
         timeoutSeconds: 1
       # Graceful termination
       lifecycle:
         preStop:
           exec:
             command:
             - sleep
             - 30
     terminationGracePeriodSeconds: 60

CLB tidak dapat diakses dari dalam kluster

Penyebab: externalTrafficPolicy: Local diatur pada layanan. kube-proxy hanya meneruskan trafik ke pod di node yang sama dengan asal permintaan. Jika node tidak memiliki pod backend untuk layanan tersebut, koneksi gagal. Hal ini memengaruhi trafik dalam kluster yang diarahkan ke alamat CLB. Lihat kube-proxy adds external-lb address to node-local iptables rule.

Gejala: CLB dapat diakses dari luar kluster tetapi koneksi gagal dari dalam.

Solusi: Gunakan salah satu pendekatan berikut:

• Akses melalui ClusterIP atau nama layanan (direkomendasikan untuk akses dalam kluster): Gunakan ClusterIP atau nama DNS layanan alih-alih alamat CLB. Untuk Ingress, nama layanan adalah nginx-ingress-lb.kube-system.

• Beralih ke `externalTrafficPolicy: Cluster`: Trafik dalam kluster mencapai layanan terlepas dari penempatan pod, tetapi IP sumber klien tidak dipertahankan. Untuk mengubah layanan Ingress:

  Dengan CLB Ingress, pod hanya dapat mengakses layanan yang diekspos oleh Ingress/CLB dari node tempat pod Ingress berjalan.

  kubectl edit svc nginx-ingress-lb -n kube-system

• Gunakan `externalTrafficPolicy: Cluster` dengan transmisi langsung ENI (hanya Terway): Jika kluster Anda menggunakan Terway dengan ENI atau beberapa IP per ENI, atur externalTrafficPolicy: Cluster dan tambahkan anotasi service.beta.kubernetes.io/backend-type: "eni". Ini mempertahankan IP sumber dan memungkinkan akses dalam kluster. Lihat Gunakan anotasi untuk mengonfigurasi instans Classic Load Balancer (CLB).

  apiVersion: v1
  kind: Service
  metadata:
    annotations:
      service.beta.kubernetes.io/backend-type: eni
    labels:
      app: nginx-ingress-lb
    name: nginx-ingress-lb
    namespace: kube-system
  spec:
    externalTrafficPolicy: Cluster

CLB tidak dapat diakses dari luar kluster

Penyebab: ACL memblokir IP klien, kelompok vServer CLB tidak memiliki backend, atau pemeriksaan kesehatan gagal.

Gejala: Instans CLB tidak dapat dijangkau dari luar kluster.

Solusi:

1. Periksa event error layanan dan atasi. Lihat Event error layanan dan solusinya.

   kubectl -n {your-namespace} describe svc {your-svc-name}

2. Periksa apakah ACL dikonfigurasi pada instans CLB. Jika iya, verifikasi bahwa ACL mengizinkan lalu lintas masuk dari IP klien. Lihat Resource Access Management.

3. Periksa apakah kelompok vServer CLB kosong. Jika kosong, verifikasi bahwa pod terkait dengan layanan dan sedang berjalan. Jika tidak sehat, atasi masalah pod terlebih dahulu. Lihat Troubleshoot masalah pod.

4. Periksa apakah pemeriksaan kesehatan listener CLB berhasil. Jika gagal, verifikasi bahwa pod merespons dengan benar. Lihat FAQ pemeriksaan kesehatan CLB.

Tidak dapat terhubung ke layanan HTTPS backend

Penyebab: Dengan sertifikat pada listener CLB, CLB mengakhiri TLS dan meneruskan HTTP ke backend. Jika targetPort mengarah ke port HTTPS (misalnya, 443), pod menolak permintaan teks biasa dengan pesan "The plain HTTP request was sent to HTTPS port."

Gejala: Koneksi backend gagal setelah mengonfigurasi HTTPS pada listener CLB.

Solusi: Atur targetPort ke port HTTP pod. Misalnya, jika Nginx menyajikan HTTPS di port 443, atur targetPort ke 80.

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-protocol-port: "https:443"
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-cert-id: "${YOUR_CERT_ID}"
  name: nginx
  namespace: default
spec:
  ports:
  - name: http
    port: 80
    protocol: TCP
    targetPort: 80
  - name: https
    port: 443
    protocol: TCP
    targetPort: 80
  selector:
    run: nginx
  type: LoadBalancer