Container Service for Kubernetes：Praktik Terbaik untuk Layanan DNS

Optimalkan Permintaan DNS

Gunakan Gambar Kontainer yang Tepat

Jika kontainer yang diterapkan di kluster Kubernetes menggunakan Alpine sebagai gambar dasar, nama domain mungkin tidak dapat diselesaikan karena penggunaan musl libc. Kami sarankan Anda mengganti gambar dengan gambar yang berbasis Debian atau CentOS.

Kurangi Dampak Buruk dari Timeout Resolusi DNS Sesekali yang Disebabkan oleh Cacat IPVS

Jika mode penyeimbangan beban kube-proxy diatur ke IPVS di kluster Anda, timeout resolusi DNS mungkin terjadi ketika pod CoreDNS diskalakan masuk atau dimulai ulang. Masalah ini disebabkan oleh bug kernel Linux. Untuk informasi lebih lanjut, lihat IPVS.

Gunakan NodeLocal DNSCache untuk Mengoptimalkan Resolusi DNS

Container Service for Kubernetes (ACK) memungkinkan Anda menerapkan NodeLocal DNSCache untuk meningkatkan stabilitas dan kinerja penemuan layanan. NodeLocal DNSCache diimplementasikan sebagai DaemonSet dan menjalankan agen caching DNS pada node kluster untuk meningkatkan efisiensi resolusi DNS untuk kluster ACK.

Untuk informasi lebih lanjut tentang NodeLocal DNSCache dan cara menerapkannya di kluster ACK, lihat Konfigurasikan NodeLocal DNSCache.

Gunakan Versi CoreDNS yang Tepat

Pantau Status CoreDNS

Metrik Pemantauan

CoreDNS menggunakan API Prometheus standar untuk mengumpulkan metrik seperti hasil resolusi DNS. Ini memungkinkan Anda mengidentifikasi pengecualian di CoreDNS dan server DNS upstream pada kesempatan pertama.

Secara default, metrik pemantauan dan aturan peringatan terkait CoreDNS telah ditentukan sebelumnya di Managed Service for Prometheus yang disediakan oleh Alibaba Cloud. Anda dapat masuk ke Konsol ACK untuk mengaktifkan Managed Service for Prometheus dan dashboard. Untuk informasi lebih lanjut, lihat Pemantauan CoreDNS.

Jika Anda menggunakan Prometheus open source untuk memantau kluster Kubernetes, Anda dapat melihat metrik terkait di Prometheus dan membuat aturan peringatan berdasarkan metrik utama berikut. Untuk informasi lebih lanjut, lihat Dokumentasi Resmi CoreDNS Prometheus.

Log Operasional

Ketika terjadi kesalahan resolusi DNS, Anda dapat melihat log CoreDNS untuk mengidentifikasi penyebabnya. Kami sarankan Anda mengaktifkan logging untuk CoreDNS dan menggunakan Log Service untuk mengumpulkan data log. Untuk informasi lebih lanjut, lihat Kumpulkan dan Analisis Log CoreDNS.

Sinkronkan Event Kubernetes

CoreDNS v1.9.3.6-32932850-aliyun dan versi lebih baru memungkinkan Anda mengaktifkan plugin k8s_event untuk menyinkronkan event Kubernetes yang berisi log Info, Error, dan Warning CoreDNS ke pusat event. Untuk informasi lebih lanjut, lihat k8s_event.

Secara default, plugin k8s_event diaktifkan setelah Anda menerapkan CoreDNS v1.9.3.6-32932850-aliyun atau versi lebih baru. Jika Anda menerapkan versi CoreDNS yang lebih lama dan kemudian memperbarui ke v1.9.3.6-32932850-aliyun atau lebih baru, Anda perlu memodifikasi ConfigMap CoreDNS untuk mengaktifkan plugin k8s_event.

1. Jalankan perintah berikut untuk membuka ConfigMap coredns:

   kubectl -n kube-system edit configmap/coredns

2. Tambahkan plugin kubeAPI dan k8s_event.

   apiVersion: v1
   data:
     Corefile: |
       .:53 {
           errors
           health {
               lameduck 15s
           }
   
           // Awal konfigurasi plugin. Abaikan pengaturan lainnya.
           kubeapi
           k8s_event {
             level info error warning // Laporkan log Info, Error, dan Warning ke event Kubernetes.
           }
           // Akhir konfigurasi plugin.
   
           kubernetes cluster.local in-addr.arpa ip6.arpa {
               pods verified
               fallthrough in-addr.arpa ip6.arpa
           }
           // Detail tidak ditampilkan.
       }

3. Periksa status dan log pod CoreDNS. Jika data log berisi kata kunci reload, konfigurasi baru telah dimuat.

Modifikasi Deployment CoreDNS

Modifikasi jumlah pod CoreDNS

Kami sarankan Anda menyediakan setidaknya dua pod CoreDNS. Anda harus memastikan bahwa jumlah pod CoreDNS cukup untuk menangani permintaan DNS dalam kluster.

DNS QPS CoreDNS terkait dengan penggunaan CPU. Satu CPU dapat menangani lebih dari 10.000 DNS QPS jika Anda mengaktifkan caching DNS. DNS QPS yang diperlukan oleh beban kerja yang berbeda mungkin bervariasi. Anda dapat mengevaluasi DNS QPS berdasarkan penggunaan CPU puncak setiap pod CoreDNS. Kami sarankan Anda meningkatkan jumlah pod CoreDNS jika sebuah pod CoreDNS menggunakan lebih dari satu vCPU selama jam-jam puncak. Jika Anda tidak dapat memastikan penggunaan CPU puncak setiap pod CoreDNS, Anda dapat menetapkan rasio pod CoreDNS terhadap node kluster menjadi 1:8. Dengan cara ini, setiap kali Anda menambahkan delapan node ke kluster, sebuah pod CoreDNS dibuat. Jumlah total pod CoreDNS tidak boleh melebihi 10. Jika kluster Anda berisi lebih dari 100 node, kami sarankan Anda menggunakan NodeLocal DNSCache. Untuk informasi lebih lanjut, lihat Gunakan NodeLocal DNSCache untuk Mengoptimalkan Resolusi DNS.

• Anda dapat secara manual meningkatkan jumlah pod CoreDNS jika jumlah node kluster tetap tidak berubah untuk waktu yang lama. Untuk informasi lebih lanjut, lihat Secara Manual Tingkatkan Jumlah Pod CoreDNS.

• Anda dapat mengatur sistem untuk secara otomatis meningkatkan jumlah pod CoreDNS jika jumlah node kluster bertambah. Untuk informasi lebih lanjut, lihat Gunakan Cluster-Autoscaler untuk Secara Otomatis Meningkatkan Jumlah Pod CoreDNS.

Jadwalkan pod CoreDNS ke node yang tepat

Saat Anda menerapkan pod CoreDNS di kluster, kami sarankan Anda menerapkan pod CoreDNS pada node kluster yang berbeda di beberapa zona. Ini mencegah gangguan layanan ketika satu node atau zona gagal. Secara default, pengaturan soft anti-afinitas berbasis node dikonfigurasikan untuk CoreDNS. Beberapa atau semua pod CoreDNS mungkin diterapkan pada node yang sama karena node yang tidak mencukupi. Dalam kasus ini, kami sarankan Anda menghapus pod CoreDNS dan menjadwalkan ulang pod tersebut.

Pod CoreDNS tidak boleh diterapkan pada node kluster yang sumber daya CPU dan memorinya sepenuhnya digunakan. Jika tidak, DNS QPS dan waktu respons akan terpengaruh secara negatif. Jika kluster berisi node yang cukup, Anda dapat menjadwalkan pod CoreDNS ke node eksklusif dengan mengonfigurasi parameter kustom. Ini memungkinkan CoreDNS menyediakan layanan resolusi nama domain yang stabil. Untuk informasi lebih lanjut tentang cara menjadwalkan pod CoreDNS ke node eksklusif kluster, lihat Sebarkan Pod CoreDNS pada Node Eksklusif dengan Mengonfigurasi Parameter Kustom.

Secara manual tingkatkan jumlah pod CoreDNS

kubectl scale --replicas={target} deployment/coredns -n kube-system

Gunakan cluster-autoscaler untuk secara otomatis meningkatkan jumlah pod CoreDNS

---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: dns-autoscaler
  namespace: kube-system
  labels:
    k8s-app: dns-autoscaler
spec:
  selector:
    matchLabels:
      k8s-app: dns-autoscaler
  template:
    metadata:
      labels:
        k8s-app: dns-autoscaler
    spec:
      serviceAccountName: admin
      containers:
      - name: autoscaler
        image: registry.cn-hangzhou.aliyuncs.com/acs/cluster-proportional-autoscaler:1.8.4
        resources:
          requests:
            cpu: "200m"
            memory: "150Mi"
        command:
        - /cluster-proportional-autoscaler
        - --namespace=kube-system
        - --configmap=dns-autoscaler
        - --nodelabels=type!=virtual-kubelet
        - --target=Deployment/coredns
        - --default-params={"linear":{"coresPerReplica":64,"nodesPerReplica":8,"min":2,"max":100,"preventSinglePointFailure":true}}
        - --logtostderr=true
        - --v=9

{
      "coresPerReplica": 64,
      "nodesPerReplica": 8,
      "min": 2,
      "max": 100,
      "preventSinglePointFailure": true
}

Gunakan HPA untuk meningkatkan jumlah pod CoreDNS berdasarkan beban CPU

---
apiVersion: autoscaling/v2beta1
kind: HorizontalPodAutoscaler
metadata:
  name: coredns-hpa
  namespace: kube-system
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: coredns
  minReplicas: 2
  maxReplicas: 10
  metrics:
  - type: Resource
    resource:
      name: cpu
      targetAverageUtilization: 50

Sebarkan pod CoreDNS pada node eksklusif dengan menggunakan parameter kustom

1. Masuk ke Konsol ACK. Di panel navigasi kiri, klik Clusters.

2. Di halaman Clusters, temukan kluster yang Anda inginkan dan klik namanya. Di panel kiri, pilih Nodes > Nodes.

3. Di halaman Nodes, klik Manage Labels and Taints.

4. Di tab Label halaman Manage Labels and Taints, pilih node yang ingin Anda kelola dan klik Add Label.

   Catatan

   Jumlah node yang Anda pilih harus lebih besar dari jumlah pod CoreDNS. Ini menghindari penempatan beberapa pod CoreDNS pada node yang sama.

5. Di kotak dialog Add, atur parameter berikut dan klik OK.

   • Name: Masukkan node-role-type.

   • Value: Masukkan coredns.

6. Di panel navigasi kiri, pilih Operations > Add-ons. Di halaman yang muncul, cari CoreDNS.

7. Klik Configuration di bagian CoreDNS. Di kotak dialog CoreDNS Parameters, klik + Add di sebelah kanan NodeSelector, atur parameter berikut, lalu klik OK.

   • Kunci: Masukkan node-role-type.

   • Nilai: Masukkan coredns.

   Pod CoreDNS dijadwalkan ulang ke node dengan label yang ditentukan.

Konfigurasikan CoreDNS dengan Benar

ACK hanya menyediakan pengaturan default untuk CoreDNS. Anda dapat memodifikasi parameter untuk mengoptimalkan pengaturan dan mengaktifkan CoreDNS untuk menyediakan layanan DNS normal untuk pod klien Anda. Anda dapat memodifikasi konfigurasi CoreDNS sesuai kebutuhan. Untuk informasi lebih lanjut, lihat Kebijakan DNS dan Resolusi Nama Domain dan Dokumentasi Resmi CoreDNS.

Anda dapat masuk ke konsol Container Intelligence Service dan menggunakan komponen Pemeriksaan dan Diagnosis Reguler untuk memeriksa konfigurasi CoreDNS. Jika hasilnya menunjukkan kesalahan terkait ConfigMap coredns, kami sarankan Anda melakukan operasi sebelumnya.

Atur ulang permintaan sumber daya dan batasan untuk CoreDNS

Tabel berikut menjelaskan nilai default permintaan sumber daya dan batasan saat sistem menerapkan CoreDNS. Anda dapat memodifikasi nilai berdasarkan status kluster Anda. Untuk informasi lebih lanjut, lihat Manajemen O&M - Manajemen Komponen - Jaringan - CoreDNS - Konfigurasi Parameter.

Nonaktifkan pengaturan afinitas untuk Service kube-dns

Nonaktifkan plugin autopath

Plugin autopath diaktifkan untuk CoreDNS versi sebelumnya dan dapat menyebabkan kesalahan resolusi DNS dalam skenario tertentu. Jika plugin autopath diaktifkan, Anda harus menonaktifkan plugin tersebut di ConfigMap coredns. Untuk informasi lebih lanjut, lihat Autopath.

1. Jalankan perintah kubectl -n kube-system edit configmap coredns untuk memodifikasi ConfigMap coredns.

2. Hapus autopath @kubernetes. Lalu, simpan perubahan dan keluar.

3. Periksa status dan log pod CoreDNS. Jika data log berisi kata kunci reload, konfigurasi baru telah dimuat.

Konfigurasikan shutdown yang mulus untuk CoreDNS

Konfigurasikan protokol default untuk plugin forward dan server DNS upstream dari VPC

NodeLocal DNSCache menggunakan protokol TCP untuk berkomunikasi dengan CoreDNS. CoreDNS berkomunikasi dengan server DNS upstream berdasarkan protokol yang digunakan oleh sumber permintaan DNS. Oleh karena itu, permintaan DNS yang dikirim dari pod klien untuk nama domain eksternal melewati NodeLocal DNSCache dan CoreDNS, lalu tiba di server DNS di VPC melalui TCP. Alamat IP server DNS adalah 100.100.2.136 dan 100.100.2.138. Alamat IP ini dikonfigurasi secara otomatis pada instance Elastic Compute Service (ECS).

# Pengaturan asli
forward . /etc/resolv.conf
# Pengaturan yang dimodifikasi
forward . /etc/resolv.conf {
  prefer_udp
}

Konfigurasikan plugin ready

Anda harus mengonfigurasi plugin ready untuk versi CoreDNS setelah 1.5.0.

1. Jalankan perintah berikut untuk membuka ConfigMap coredns:

   kubectl -n kube-system edit configmap/coredns

2. Periksa apakah ada baris yang hanya berisi ready. Jika baris tersebut tidak ada, tambahkan baris dan tentukan ready, tekan Esc, masukkan :wq!, lalu tekan Enter untuk menyimpan file dan keluar dari mode edit.

   apiVersion: v1
   data:
    Corefile: |
     .:53 {
       errors
       health {
         lameduck 15s
       }
       ready # Tambahkan baris ini dan pastikan kata "ready" sejajar dengan kata "kubernetes".
       kubernetes cluster.local in-addr.arpa ip6.arpa {
         pods verified
         fallthrough in-addr.arpa ip6.arpa
       }
       prometheus :9153
       forward . /etc/resolv.conf {
         max_concurrent 1000
               prefer_udp
       }
       cache 30
       loop
       log
       reload
       loadbalance
     }

3. Periksa status dan log pod CoreDNS. Jika data log berisi kata kunci reload, konfigurasi baru telah dimuat.