Container Service for Kubernetes:Troubleshoot kesalahan resolusi DNS

Pesan kesalahan umum

Cocokkan pesan kesalahan Anda untuk mengidentifikasi kategori kegagalan:

Siapkan pod debug

Sebelum menjalankan perintah diagnostik apa pun, siapkan lingkungan pengamatan yang bersih guna menghilangkan ambiguitas antara bug aplikasi dan bug DNS.

kubectl run -it --rm debug --image=nicolaka/netshoot -- dig

Anda juga dapat menjalankan perintah berikut:

nslookup <Nama domain>

Langkah 1: Periksa konfigurasi DNS pod aplikasi

# Dapatkan YAML pod untuk memeriksa field dnsPolicy-nya
kubectl get pod <pod-name> -o yaml

# Jika dnsPolicy tampak benar, periksa konfigurasi DNS dalam kontainer
kubectl exec -it <pod-name> -- cat /etc/resolv.conf

Periksa apakah nameserver mengarah ke CoreDNS atau NodeLocal DNSCache:

• CoreDNS (IP Service kube-dns, misalnya 172.21.0.10): lanjutkan ke Langkah 2.

• NodeLocal DNSCache (169.254.20.10): lihat Masalah NodeLocal DNSCache.

• Bukan keduanya (tidak ada konfigurasi DNS kluster): pod mungkin berjalan pada node yang kelebihan beban atau tabel conntrack penuh. Lihat Kelebihan beban klien dan Tabel conntrack penuh.

apiVersion: v1
kind: Pod
metadata:
  name: <pod-name>
  namespace: <pod-namespace>
spec:
  containers:
  - image: <container-image>
    name: <container-name>
  dnsPolicy: None
  dnsConfig:
    nameservers:
    - 169.254.20.10
    - 172.21.0.10
    options:
    - name: ndots
      value: "3"
    - name: timeout
      value: "1"
    - name: attempts
      value: "2"
    searches:
    - default.svc.cluster.local
    - svc.cluster.local
    - cluster.local

Langkah 2: Periksa status pod CoreDNS

kubectl -n kube-system get pod -o wide -l k8s-app=kube-dns

Output yang diharapkan (semua pod dalam status Running):

NAME                      READY   STATUS    RESTARTS   AGE   IP            NODE
coredns-xxxxxxxxx-xxxxx   1/1     Running   0          25h   172.20.6.53   cn-hangzhou.192.168.0.198

Periksa penggunaan resource:

kubectl -n kube-system top pod -l k8s-app=kube-dns

Output yang diharapkan:

NAME                      CPU(cores)   MEMORY(bytes)
coredns-xxxxxxxxx-xxxxx   3m           18Mi

Jika pod tidak dalam status Running, deskripsikan pod tersebut untuk menemukan penyebabnya:

kubectl -n kube-system describe pod <coredns-pod-name>

Lihat Pod CoreDNS tidak berjalan sesuai harapan untuk log kesalahan umum dan solusinya.

Langkah 3: Periksa log operasional CoreDNS

kubectl -n kube-system logs -f --tail=500 --timestamps <coredns-pod-name>

Cari respons NXDOMAIN, SERVFAIL, atau REFUSED dalam log. Jika salah satu respons ini muncul untuk nama domain eksternal, berarti server DNS upstream mengembalikan kesalahan. Lihat Nama domain eksternal tidak dapat diresolusi.

Langkah 4: Periksa apakah masalah dapat direproduksi

• Selalu gagal: lanjutkan dengan Diagnosis log kueri DNS dan Diagnosis konektivitas jaringan antara pod aplikasi dan CoreDNS.

• Intermiten: tangkap paket seperti yang dijelaskan di Tangkap paket.

Format log kueri DNS

[INFO] 172.20.2.25:44525 - 36259 "A IN redis-master.default.svc.cluster.local. udp 56 false 512" NOERROR qr,aa,rd 110 0.000116946s

Kode respons DNS

Untuk spesifikasi lengkap, lihat RFC 1035.

Jika log menunjukkan NXDOMAIN, SERVFAIL, atau REFUSED untuk nama domain eksternal, maka server DNS upstream adalah akar penyebabnya. Secara default, CoreDNS menggunakan server DNS VPC 100.100.2.136 dan 100.100.2.138 sebagai resolver upstream. Kirim tiket ke tim ECS dan sertakan:

Apa yang harus dilakukan jika nama domain eksternal tidak dapat diresolusi

Nama domain internal diresolusi dengan benar, tetapi nama domain eksternal gagal.

Periksa log kueri CoreDNS untuk NXDOMAIN, SERVFAIL, atau REFUSED pada nama domain yang gagal. Kode-kode ini menunjukkan bahwa server DNS upstream (secara default, 100.100.2.136 dan 100.100.2.138) mengembalikan kesalahan. Kirim tiket ke tim ECS dengan nama domain, kode respons, timestamp, dan ID instans ECS dari node yang menjalankan CoreDNS.

Apa yang harus dilakukan jika nama domain Service headless tidak dapat diresolusi

CoreDNS tidak dapat meng-resolve nama domain Service headless.

Hal ini biasanya terjadi pada versi CoreDNS sebelum 1.7.0, yang dapat keluar secara tak terduga selama fluktuasi jaringan server API Kubernetes, sehingga menyebabkan rekaman DNS Service headless menjadi usang. Perbarui CoreDNS ke versi 1.7.0 atau lebih baru. Lihat [Pembaruan Komponen] Perbarui CoreDNS.

Jika dig menunjukkan flag tc dalam respons, berarti Service headless memiliki terlalu banyak alamat IP pendukung sehingga respons DNS melebihi batas ukuran paket UDP. Konfigurasikan klien untuk mengirim kueri DNS melalui TCP:

• Untuk resolver berbasis glibc, tambahkan use-vc ke dnsConfig:

  dnsConfig:
    options:
    - name: use-vc

  Ini dipetakan ke direktif options dalam /etc/resolv.conf. Untuk detailnya, lihat halaman manual Linux untuk resolv.conf.

• Untuk aplikasi Go, konfigurasikan resolver untuk menggunakan TCP:

  package main
  
  import (
    "fmt"
    "net"
    "context"
  )
  
  func main() {
    resolver := &net.Resolver{
      PreferGo: true,
      Dial: func(ctx context.Context, network, address string) (net.Conn, error) {
        return net.Dial("tcp", address)
      },
    }
  
    addrs, err := resolver.LookupHost(context.TODO(), "example.com")
    if err != nil {
      fmt.Println("Error:", err)
      return
    }
    fmt.Println("Addresses:", addrs)
  }

Apa yang harus dilakukan jika nama domain Service headless tidak dapat diresolusi setelah memperbarui CoreDNS

Setelah upgrade ke Kubernetes 1.20 atau lebih baru dengan CoreDNS 1.8.4 atau lebih baru, komponen open-source seperti etcd, Nacos, dan Kafka gagal menemukan layanan.

CoreDNS 1.8.4 beralih ke API EndpointSlice. Beberapa komponen open-source bergantung pada anotasi service.alpha.kubernetes.io/tolerate-unready-endpoints dari API Endpoint lama untuk memublikasikan Service yang belum siap selama inisialisasi. Anotasi ini tidak didukung di EndpointSlice—telah digantikan oleh publishNotReadyAddresses.

Periksa apakah YAML atau chart Helm untuk komponen yang terpengaruh menggunakan service.alpha.kubernetes.io/tolerate-unready-endpoints. Jika iya, perbarui komponen tersebut atau konsultasikan dengan komunitas komponen tersebut.

Apa yang harus dilakukan jika nama domain pod StatefulSet tidak dapat diresolusi

Nama domain pod StatefulSet (misalnya, pod.headless-svc.ns.svc.cluster.local) tidak dapat diresolusi, tetapi nama domain Service headless-nya sendiri diresolusi dengan benar.

Templat YAML pod StatefulSet memiliki nilai serviceName yang salah atau kosong. Atur serviceName dalam spesifikasi StatefulSet ke nama persis dari Service headless yang mengekspos StatefulSet tersebut.

Apa yang harus dilakukan jika aturan security group memblokir kueri DNS

Resolusi DNS gagal pada sebagian atau semua node, secara persisten.

Aturan security group atau daftar kontrol akses jaringan (ACL) pada instans ECS memblokir port UDP 53. Ubah aturan security group atau ACL jaringan agar mengizinkan port UDP 53.

Apa yang harus dilakukan jika terjadi kesalahan konektivitas jaringan kontainer

Resolusi DNS gagal pada sebagian atau semua node, secara persisten.

Kesalahan konektivitas jaringan kontainer atau masalah lain memblokir port UDP 53. Gunakan fitur diagnostik jaringan untuk mendiagnosis konektivitas jaringan antara pod aplikasi dan pod CoreDNS. Jika masalah berlanjut, kirim tiket.

Apa yang harus dilakukan jika pod CoreDNS kelebihan beban

Latensi resolusi DNS tinggi, atau kegagalan terjadi secara persisten atau intermiten. Penggunaan CPU atau memori pod CoreDNS mendekati batas atas.

Jumlah replika CoreDNS terlalu rendah untuk menangani volume kueri DNS. Lakukan satu atau kedua langkah berikut:

• Aktifkan NodeLocal DNSCache untuk mengurangi beban pada CoreDNS. Lihat Konfigurasi NodeLocal DNSCache.

• Skalakan pod CoreDNS sehingga pemanfaatan CPU puncak per pod tetap di bawah ruang CPU yang tersedia di node.

Apa yang harus dilakukan jika beban kueri DNS tidak seimbang

Latensi resolusi DNS tinggi atau kegagalan intermiten terjadi pada sebagian (bukan semua) node. Pemanfaatan CPU pod CoreDNS berbeda signifikan antar pod. Terdapat kurang dari dua replika CoreDNS yang berjalan, atau beberapa pod dijadwalkan pada node yang sama.

Kueri DNS didistribusikan secara tidak merata karena penjadwalan pod yang tidak seimbang atau pengaturan SessionAffinity pada Service kube-dns. Untuk memperbaikinya:

• Skalakan pod CoreDNS dan jadwalkan pada node yang berbeda.

• Hapus pengaturan SessionAffinity dari Service kube-dns. Lihat Konfigurasi ACK untuk memperbarui CoreDNS secara otomatis.

Apa yang harus dilakukan jika pod CoreDNS tidak berjalan sesuai harapan

Latensi resolusi DNS tinggi, kegagalan terjadi pada beberapa node, pod CoreDNS tidak dalam status Running, jumlah restart terus meningkat, atau log CoreDNS menunjukkan kesalahan.

YAML yang salah konfigurasi atau ConfigMap CoreDNS yang salah mencegah pod berjalan. Periksa status dan log pod.

Pesan kesalahan umum:

Apa yang harus dilakukan jika DNS gagal karena klien kelebihan beban

Kesalahan DNS terjadi secara intermiten atau selama jam sibuk. Pemantauan instans ECS menunjukkan laju pengiriman ulang NIC yang tidak normal atau pemanfaatan CPU tinggi.

Instans ECS yang menjalankan pod pengirim kueri DNS sepenuhnya dimuat, menyebabkan kehilangan paket UDP. Kirim tiket. Secara paralel, aktifkan NodeLocal DNSCache untuk mengurangi beban DNS per node. Lihat Konfigurasi NodeLocal DNSCache.

Apa yang harus dilakukan jika tabel conntrack penuh

Resolusi DNS gagal secara sering pada sebagian atau semua node selama jam sibuk tetapi berfungsi selama jam sepi. Menjalankan dmesg -H pada instans menunjukkan conntrack full dalam log selama periode kegagalan.

Tabel conntrack kernel Linux penuh, sehingga paket UDP dan TCP tidak dapat diproses. Tingkatkan jumlah maksimum entri dalam tabel conntrack. Lihat Bagaimana cara meningkatkan jumlah maksimum koneksi yang dilacak dalam tabel conntrack kernel Linux?

Apa yang harus dilakukan jika plugin autopath tidak berfungsi sebagaimana mestinya

Nama domain eksternal kadang-kadang gagal diresolusi atau diresolusi ke alamat IP yang salah, sedangkan nama domain internal diresolusi dengan benar. Saat kluster membuat kontainer dengan laju tinggi, nama domain internal kadang-kadang diresolusi ke alamat IP yang salah.

Plugin autopath di CoreDNS memiliki cacat yang diketahui. Nonaktifkan plugin tersebut:

1. Edit ConfigMap CoreDNS:

   kubectl -n kube-system edit configmap coredns

2. Hapus baris autopath @kubernetes, simpan file, dan keluar.

3. Verifikasi bahwa CoreDNS memuat konfigurasi baru dengan memeriksa log untuk kata kunci reload.

Apa yang harus dilakukan jika DNS gagal karena kueri rekaman A dan AAAA konkuren

Resolusi DNS CoreDNS gagal secara intermiten. Tangkapan paket atau log kueri DNS menunjukkan kueri rekaman A dan AAAA dikirim secara simultan melalui port sumber yang sama.

Kueri rekaman A dan AAAA konkuren menyebabkan kesalahan tabel conntrack, yang mengakibatkan kehilangan paket UDP. Pada mesin ARM, versi libc sebelum 2.33 memiliki masalah ini (lihat GLIBC#26600).

Terapkan satu atau beberapa perbaikan berikut berdasarkan lingkungan Anda:

• NodeLocal DNSCache: mengurangi dampak kehilangan paket. Lihat Konfigurasi NodeLocal DNSCache.

• CentOS atau Ubuntu dengan libc: perbarui libc ke versi 2.33 atau lebih baru, atau tambahkan opsi resolver: options timeout:2 attempts:3 rotate single-request-reopen.

• cURL PHP: tambahkan CURL_IPRESOLVE_V4 untuk menentukan bahwa nama domain hanya dapat diresolusi ke alamat IPv4. Lihat curl_setopt.

• Alpine Linux: ganti dengan image dasar non-Alpine. Lihat Catatan Alpine Linux.

Apa yang harus dilakukan jika DNS gagal karena kesalahan IPVS

Resolusi DNS gagal secara intermiten saat node ditambahkan atau dihapus dari kluster, saat node dimatikan, atau saat CoreDNS diskalakan turun. Kegagalan biasanya berlangsung sekitar 5 menit.

kube-proxy berjalan dalam mode IPVS. Saat pod backend UDP dihapus dari node CentOS atau Alibaba Cloud Linux 2 dengan versi kernel sebelum 4.19.91-25.1.al7.x86_64, konflik port sumber menyebabkan paket UDP di-drop.

Untuk memperbaikinya:

• Aktifkan NodeLocal DNSCache untuk melewati IPVS untuk trafik DNS. Lihat Konfigurasi NodeLocal DNSCache.

• Persingkat timeout sesi UDP dalam mode IPVS. Lihat Ubah periode timeout UDP dalam mode IPVS.

Masalah NodeLocal DNSCache