Container Service for Kubernetes:Atasi error resolusi DNS

Uji konektivitas jaringan antara Pod aplikasi dan CoreDNS

Masuk ke namespace jaringan Pod aplikasi menggunakan salah satu metode berikut:

• Metode 1 (disarankan): Jalankan kubectl exec -it <pod-name> -- bash untuk masuk ke Pod.

• Metode 2: Masuk ke node, cari ID proses dengan ps aux | grep <application-process-name>, lalu masuk ke namespace jaringan dengan nsenter -t <pid> -n bash.

• Metode 3 (untuk Pod yang sering restart):

  1. Masuk ke node.

  2. Jalankan docker ps -a | grep <application-container-name> untuk mencari ID kontainer sandbox (nama dimulai dengan k8s_POD_).

  3. Jalankan docker inspect <sandboxed-container-ID> | grep netns untuk mencari path namespace jaringan di /var/run/docker/netns/xxxx.

  4. Jalankan nsenter -n<netns-path> bash</netns-path> untuk masuk ke namespace tersebut. > Note: Jangan tambahkan spasi antara -n dan <netns-path>.

Dari namespace jaringan Pod, uji konektivitas:

# Uji konektivitas ke layanan kube-dns
dig <domain> @<kube-dns-svc-ip>

# Uji konektivitas Internet Control Message Protocol (ICMP) ke Pod CoreDNS
ping <coredns-pod-ip>

# Uji kueri DNS langsung ke Pod CoreDNS
dig <domain> @<coredns-pod-ip>

Ganti <kube-dns-svc-ip> dengan IP layanan kube-dns di namespace kube-system, dan <coredns-pod-ip> dengan IP Pod CoreDNS.

Uji konektivitas jaringan CoreDNS

1. Masuk ke node tempat Pod CoreDNS berjalan.

2. Jalankan ps aux | grep coredns untuk mendapatkan ID proses CoreDNS.

3. Jalankan nsenter -t <pid> -n bash untuk masuk ke namespace jaringan CoreDNS.

4. Uji konektivitas:

   # Uji konektivitas ke server API Kubernetes
   telnet <apiserver_clusterip> 6443  # apiserver_clusterip adalah ClusterIP layanan kubernetes di namespace default.
   
   # Uji konektivitas ke server DNS upstream
   dig <domain> @100.100.2.136
   dig <domain> @100.100.2.138

Diagnosis jaringan kontainer

1. Masuk ke Konsol ACKKonsol ACK.

2. Pada halaman Clusters, klik nama kluster Anda atau klik Details di kolom Actions.

3. Di panel navigasi kiri, pilih Operations > Cluster Check.

4. Pada halaman Container Intelligence Service, pilih Cluster Check > Diagnosis.

5. Pada halaman Diagnosis, klik tab Network Diagnosis.

6. Atur Source address ke IP Pod aplikasi, Destination address ke IP layanan kube-dns, dan Port tujuan ke 53. Pilih Enable packet tracing dan I know and agree, lalu klik Create diagnosis.

7. Di daftar diagnosis, klik Diagnosis details untuk catatan Anda.

Hasilnya menampilkan Diagnosis result, Packet paths, dan Semua jalur yang mungkin, beserta penyebab error yang teridentifikasi. Lihat Gunakan fitur diagnostik kluster untuk mengatasi masalah kluster.

Pengambilan paket

Gunakan pengambilan paket saat error bersifat intermiten dan sulit direproduksi.

1. Masuk ke node tempat Pod aplikasi dan Pod CoreDNS berjalan.

2. Ambil trafik DNS pada setiap instans ECS:

   tcpdump -i any port 53 -C 20 -W 200 -w /tmp/client_dns.pcap

   Ini mengambil semua trafik pada port 53, bergilir hingga maksimal 200 file masing-masing 20 MB.

3. Reproduksi error dan analisis paket dari jendela waktu kegagalan. Periksa log aplikasi untuk timestamp yang tepat.

Pengambilan paket memiliki dampak layanan yang dapat diabaikan—hanya sedikit peningkatan pada utilisasi CPU dan I/O disk.

Nama domain eksternal tidak dapat diselesaikan

Periksa log kueri CoreDNS untuk kode respons. Aktifkan plugin log jika belum diaktifkan (lihat Konfigurasi resolusi DNS), lalu cari domain yang gagal. NXDOMAIN berarti domain tidak ada di upstream—sering kali karena sufiks pencarian ditambahkan, sehingga menghasilkan FQDN yang tidak valid. SERVFAIL atau REFUSED berarti server upstream bermasalah; periksa konfigurasi CoreDNS dan konektivitas ke 100.100.2.136 dan 100.100.2.138.

Nama domain layanan headless tidak dapat diselesaikan

Pada CoreDNS sebelum versi 1.7.0, fluktuasi jaringan server API dapat menyebabkan CoreDNS keluar, sehingga pembaruan catatan layanan headless terhenti. Perbarui ke versi 1.7.0 atau lebih baru. Lihat \[Pembaruan Komponen\] Perbarui CoreDNS.

Nama domain Pod StatefulSet tidak dapat diselesaikan

Templat Pod StatefulSet harus mengatur serviceName ke nama layanan headless. Tanpa ini, nama DNS per-Pod (misalnya, pod.headless-svc.ns.svc.cluster.local) tidak dapat diselesaikan, meskipun nama tingkat layanan (misalnya, headless-svc.ns.svc.cluster.local) berfungsi. Atur serviceName dalam spesifikasi StatefulSet.

Kueri DNS diblokir oleh aturan security group atau ACL jaringan

Aturan security group atau daftar kontrol akses jaringan (ACL) memblokir port UDP 53, menyebabkan kegagalan DNS pada node yang terpengaruh. Izinkan trafik UDP port 53 arah masuk dan keluar.

Error konektivitas jaringan kontainer menyebabkan kegagalan DNS

Error jaringan kontainer memblokir port UDP 53. Gunakan fitur Diagnostik Jaringan untuk mengidentifikasi jalur yang rusak dan akar penyebabnya.

Pod CoreDNS kelebihan beban

Saat volume kueri melebihi kapasitas replika CoreDNS, latensi meningkat dan kegagalan terjadi. Periksa apakah penggunaan CPU dan memori mendekati batas (kubectl -n kube-system top pod -l k8s-app=kube-dns).

Dua solusi:

• Deploy NodeLocal DNSCache untuk menyerap kueri secara lokal dan mengurangi beban pada CoreDNS. Lihat Konfigurasi NodeLocal DNSCache.

• Scale out replika CoreDNS agar utilisasi CPU puncak per Pod tetap jauh di bawah CPU yang tersedia pada node.

Kueri DNS tidak terdistribusi merata di antara Pod CoreDNS

Penjadwalan Pod yang tidak seimbang atau pengaturan sessionAffinity pada kube-dns dapat menyebabkan distribusi kueri tidak merata. Gejala: utilisasi CPU yang berbeda nyata di antara Pod CoreDNS.

Dua solusi:

• Scale out Pod CoreDNS dan sebarkan di node yang berbeda.

• Hapus pengaturan sessionAffinity dari layanan kube-dns. Lihat Konfigurasi layanan kube-dns.

Pod CoreDNS tidak berjalan normal

YAML atau ConfigMap yang salah konfigurasi dapat mencegah CoreDNS dimulai atau menyebabkan crash. Gejala: Pod tidak dalam status Running, jumlah restart meningkat, atau error di log.

Periksa log CoreDNS untuk error umum berikut:

Resolusi DNS gagal karena client kelebihan beban

Saat instans ECS sepenuhnya dimuat, paket UDP mungkin terbuang sebelum mencapai CoreDNS. Cari laju Pengiriman ulang NIC (network interface controller) yang abnormal dan utilisasi CPU tinggi dalam data pemantauan.

Dua opsi:

• Kirim tiketKirim tiketKirim tiketKirim tiketKirim tiketKirim tiketKirim tiketKirim tiketKirim tiketKirim tiket untuk investigasi lebih lanjut.

• Deploy NodeLocal DNSCache untuk mengurangi trafik DNS antar-node. Lihat Konfigurasi NodeLocal DNSCache.

Tabel conntrack penuh

Saat tabel conntrack penuh, koneksi UDP dan TCP baru akan terbuang. Ini biasanya menyebabkan kegagalan DNS saat jam sibuk yang pulih di luar jam sibuk. Untuk mengonfirmasi, jalankan dmesg -H pada node yang terpengaruh dan cari conntrack full selama jendela kegagalan.

Tingkatkan jumlah maksimum entri dalam tabel conntrack. Lihat Bagaimana cara meningkatkan jumlah maksimum koneksi yang dilacak dalam tabel conntrack kernel Linux?

Plugin autopath tidak berfungsi normal

Cacat plugin autopath yang diketahui menyebabkan kegagalan resolusi sesekali atau IP yang salah untuk domain eksternal. Domain internal diselesaikan dengan benar. Masalah ini memburuk di kluster dengan tingkat pembuatan kontainer tinggi.

Nonaktifkan plugin autopath:

1. Edit ConfigMap CoreDNS dengan kubectl -n kube-system edit configmap coredns.

2. Hapus baris autopath @kubernetes. Simpan dan keluar.

3. Verifikasi konfigurasi yang dimuat dengan memeriksa log CoreDNS untuk reload.

Resolusi DNS gagal karena kueri rekaman A dan AAAA konkuren

Beberapa distribusi Linux mengirim kueri A dan AAAA secara simultan melalui port yang sama, memicu konflik conntrack yang mengakibatkan paket UDP terbuang.

Gejala: kegagalan resolusi intermiten; pengambilan paket menunjukkan kueri A dan AAAA simultan dari port sumber yang sama.

Solusi tergantung pada basis image Anda:

• CentOS atau Ubuntu: Tambahkan options timeout:2 attempts:3 rotate single-request-reopen ke konfigurasi resolver DNS.

• Alpine Linux: Ganti image berbasis Alpine dengan image berbasis OS lain. Lihat Catatan Alpine.

• PHP dengan cURL: Tambahkan CURL_IPRESOLVE_V4 untuk memaksa resolusi IPv4 saja. Lihat Fungsi cURL.

• Semua lingkungan: Deploy NodeLocal DNSCache, yang mengurangi kondisi race tersebut. Lihat Konfigurasi NodeLocal DNSCache.

Resolusi DNS gagal karena error IPVS

Dalam mode IPVS dengan CentOS atau Alibaba Cloud Linux 2 (kernel sebelum 4.19.91-25.1.al7.x86_64), penghapusan Pod backend UDP menyebabkan konflik port sumber yang mengakibatkan paket terbuang. Kegagalan DNS berlangsung ~5 menit selama event scaling node atau CoreDNS.

Dua solusi:

• Deploy NodeLocal DNSCache untuk melewati jalur IPVS untuk kueri DNS. Lihat Konfigurasi NodeLocal DNSCache.

• Persingkat timeout sesi UDP dalam mode IPVS. Lihat Ubah periode timeout UDP dalam mode IPVS.

NodeLocal DNSCache tidak berfungsi

Kueri DNS melewati NodeLocal DNSCache saat salah satu kondisi berikut berlaku:

• dnsConfig tidak disisipkan ke Pod aplikasi, sehingga mereka masih mengarah ke IP layanan kube-dns.

• Pod menggunakan image berbasis Alpine Linux, yang melakukan kueri ke semua nameserver secara konkuren, termasuk langsung ke CoreDNS.

Untuk kasus pertama, aktifkan injeksi otomatis dnsConfig. Lihat Konfigurasi NodeLocal DNSCache. Untuk image Alpine, gunakan image yang dibangun di atas OS lain. Lihat Catatan Alpine.

Nama Alibaba Cloud DNS PrivateZone tidak dapat diselesaikan

Alibaba Cloud DNS PrivateZone memerlukan UDP, bukan TCP. Dengan NodeLocal DNSCache, domain PrivateZone, titik akhir API vpc-proxy, atau nama domain lain mungkin gagal diselesaikan atau diselesaikan ke IP yang salah.

Tambahkan prefer_udp ke konfigurasi CoreDNS untuk memaksa UDP untuk kueri upstream. Lihat Konfigurasi CoreDNS.