Container Service for Kubernetes:Praktik terbaik DNS

Pantau metrik

CoreDNS mengekspos metrik kesehatan, seperti hasil resolusi DNS, melalui antarmuka Prometheus standar untuk membantu mendeteksi error pada server CoreDNS bahkan pada server DNS upstream.

Managed Service for Prometheus menyediakan aturan pemantauan dan peringatan metrik bawaan untuk CoreDNS. Anda dapat mengaktifkan Prometheus dan fitur dasbornya di Konsol ACK. Untuk informasi lebih lanjut, lihat Pantau komponen CoreDNS.

Jika Anda menggunakan instance Prometheus yang dikelola sendiri untuk memantau kluster Kubernetes Anda, Anda dapat mengamati metrik terkait di Prometheus dan mengatur peringatan untuk metrik utama. Untuk informasi lebih lanjut, lihat dokumentasi resmi Prometheus CoreDNS.

Log

Jika terjadi error DNS, log CoreDNS membantu Anda mendiagnosis akar penyebabnya dengan cepat. Kami merekomendasikan Anda mengaktifkan pencatatan resolusi nama domain CoreDNS dan pengumpulan Log Service. Untuk informasi lebih lanjut, lihat Analisis dan pantau log CoreDNS.

Pengiriman event Kubernetes

Dalam CoreDNS v1.9.3.6-32932850-aliyun dan versi lebih baru, Anda dapat mengaktifkan plugin k8s_event untuk mengirimkan log kritis CoreDNS ke pusat event sebagai event Kubernetes. Untuk informasi lebih lanjut tentang plugin k8s_event, lihat k8s_event.

Fitur ini diaktifkan secara default dalam penerapan CoreDNS baru. Jika Anda meningkatkan CoreDNS dari versi sebelumnya ke v1.9.3.6-32932850-aliyun atau lebih baru, Anda perlu memodifikasi file konfigurasi secara manual untuk mengaktifkan fitur ini.

1. Jalankan perintah berikut untuk membuka file konfigurasi CoreDNS:

   kubectl -n kube-system edit configmap/coredns

2. Tambahkan plugin kubeAPI dan k8s_event.

   apiVersion: v1
   data:
     Corefile: |
       .:53 {
           errors
           health {
               lameduck 15s
           }
   
           // Awal penambahan (abaikan perbedaan lainnya)
           kubeapi
           k8s_event {
             level info error warning // Mengirimkan log kritis tingkat info, error, dan warning.
           }
           // Akhir penambahan
   
           kubernetes cluster.local in-addr.arpa ip6.arpa {
               pods verified
               fallthrough in-addr.arpa ip6.arpa
           }
           // ... (konfigurasi sisanya dihilangkan)
       }

3. Periksa status dan log Pod CoreDNS. Jika log berisi kata reload, modifikasi berhasil.

Evaluasi beban pada CoreDNS

Anda dapat menjalankan uji stres DNS dalam kluster Anda untuk mengevaluasi beban. Banyak alat open source, seperti DNSPerf, dapat membantu Anda mencapai hal ini. Jika Anda tidak dapat mengevaluasi beban DNS dalam kluster Anda secara akurat, rujuk rekomendasi berikut.

• Kami merekomendasikan Anda mengatur jumlah Pod CoreDNS minimal 2 dalam semua skenario. Batas resource untuk satu Pod harus minimal 1 core dan 1 GiB memori.

• QPS resolusi DNS yang dapat disediakan CoreDNS berkorelasi positif dengan konsumsi CPU. Dengan NodeLocal DNSCache, setiap core CPU biasanya dapat mendukung lebih dari 10.000 QPS. Persyaratan QPS untuk permintaan DNS sangat bervariasi antar jenis layanan. Anda dapat mengamati penggunaan CPU puncak setiap Pod CoreDNS. Jika konsumsi CPU melebihi satu core selama jam sibuk, lakukan scale-out replika CoreDNS. Jika Anda tidak dapat menentukan penggunaan CPU puncak, gunakan rasio replika-ke-node konservatif 1:8.

Sesuaikan replika CoreDNS

Jumlah replika CoreDNS secara langsung menentukan resource komputasi yang dapat digunakan CoreDNS. Anda dapat menyesuaikan jumlah replika CoreDNS berdasarkan evaluasi Anda.

• Menyesuaikan secara otomatis berdasarkan kebijakan yang direkomendasikan

  Anda dapat menerapkan dns-autoscaler berikut. Alat ini secara otomatis menyesuaikan jumlah replika CoreDNS secara real-time berdasarkan rasio replika-ke-node 1:8 yang direkomendasikan. Jumlah replika dihitung menggunakan rumus berikut: replika = max(ceil(core × 1/corePerReplika), ceil(node × 1/nodePerReplika)). Hasilnya juga dibatasi oleh nilai max dan min.

  dns-autoscaler

  apiVersion: apps/v1
  kind: Deployment
  metadata:
    name: dns-autoscaler
    namespace: kube-system
    labels:
      k8s-app: dns-autoscaler
  spec:
    selector:
      matchLabels:
        k8s-app: dns-autoscaler
    template:
      metadata:
        labels:
          k8s-app: dns-autoscaler
      spec:
        serviceAccountName: admin
        containers:
        - name: autoscaler
          image: registry.cn-hangzhou.aliyuncs.com/acs/cluster-proportional-autoscaler:1.8.4
          resources:
            requests:
              cpu: "200m"
              memory: "150Mi"
          command:
          - /cluster-proportional-autoscaler
          - --namespace=kube-system
          - --configmap=dns-autoscaler
          - --nodelabels=type!=virtual-kubelet
          - --target=Deployment/coredns
          - --default-params={"linear":{"coresPerReplica":64,"nodesPerReplica":8,"min":2,"max":100,"preventSinglePointFailure":true}}
          - --logtostderr=true
          - --v=9

• Menyesuaikan secara manual

  Anda dapat menjalankan perintah berikut untuk menyesuaikan jumlah replika CoreDNS secara manual:

  kubectl scale --replicas={target} deployment/coredns -n kube-system # Ganti {target} dengan jumlah replika yang diinginkan.

• Jangan gunakan auto-scaling beban kerja

  Meskipun mekanisme auto-scaling beban kerja, seperti Horizontal Pod Autoscaler (HPA) dan CronHPA, juga dapat menyesuaikan jumlah replika, mekanisme ini melakukan penskalaan yang sering. Karena scale-in dapat menyebabkan error resolusi, jangan gunakan auto-scaling beban kerja untuk CoreDNS.

Sesuaikan spesifikasi Pod CoreDNS

Anda juga dapat menyesuaikan resource CoreDNS dengan memodifikasi spesifikasi Pod. Dalam kluster ACK managed Pro, batas memori default untuk Pod CoreDNS adalah 2 GiB, tanpa batas CPU. Untuk kinerja yang konsisten, kami merekomendasikan batas CPU minimal 1024m. Anda dapat menyesuaikan permintaan dan batas resource ini di konsol.

Jadwalkan Pod CoreDNS

Kami merekomendasikan Anda menerapkan Pod CoreDNS di zona ketersediaan berbeda dan pada node kluster berbeda untuk mencegah single point of failure. Versi add-on CoreDNS sebelum v1.8.4.3 memiliki anti-afinitas node yang disukai secara default, yang dapat menyebabkan Pod diterapkan pada node yang sama jika resource tidak mencukupi. Jika hal ini terjadi, hapus Pod untuk memicu penjadwalan ulang atau tingkatkan add-on ke versi terbaru. Versi add-on CoreDNS sebelum v1.8 tidak lagi dipelihara. Segera tingkatkan ke versi terbaru.

Pastikan node yang menjalankan CoreDNS tidak jenuh dengan penggunaan CPU atau memori tinggi, karena hal ini memengaruhi QPS dan latensi respons resolusi DNS. Jika resource node kluster memungkinkan, pertimbangkan untuk menggunakan parameter khusus untuk menjadwalkan CoreDNS ke node kluster independen guna menyediakan layanan resolusi DNS yang stabil.

Nonaktifkan afinitas untuk layanan kube-dns

Nonaktifkan plugin autopath

Plugin autopath, yang diaktifkan dalam beberapa versi CoreDNS awal, dapat menyebabkan error resolusi dalam kasus tertentu. Periksa apakah plugin diaktifkan dan nonaktifkan dengan mengedit file konfigurasi. Untuk informasi lebih lanjut, lihat Autopath.

1. Jalankan perintah kubectl -n kube-system edit configmap coredns untuk membuka file konfigurasi CoreDNS.

2. Hapus baris autopath @kubernetes, lalu simpan dan keluar.

3. Periksa status dan log Pod CoreDNS. Jika log berisi kata reload, modifikasi berhasil.

Konfigurasikan shutdown yang mulus untuk CoreDNS

lameduck adalah mekanisme shutdown yang mulus dalam CoreDNS. Mekanisme ini memastikan bahwa saat CoreDNS dihentikan atau direstart, permintaan yang sedang berlangsung diselesaikan dengan benar dan tidak terputus secara tiba-tiba. Mekanisme lameduck bekerja sebagai berikut:

• Saat proses CoreDNS akan dihentikan, ia memasuki mode lameduck.

• Dalam mode lameduck, CoreDNS berhenti menerima permintaan baru tetapi terus memproses permintaan yang telah diterima hingga semua permintaan selesai atau periode timeout lameduck terlampaui.

Konfigurasikan protokol plugin forward

Saat menggunakan NodeLocal DNSCache, rantai komunikasi adalah: Aplikasi → NodeLocal DNSCache (TCP) → CoreDNS (TCP). Secara default, CoreDNS kemudian berkomunikasi dengan server DNS upstream menggunakan protokol yang sama dengan permintaan sumber. Artinya, permintaan resolusi nama domain eksternal dari workload Anda melewati NodeLocal DNSCache dan CoreDNS, lalu dikirim ke server DNS VPC (dua alamat IP 100.100.2.136 dan 100.100.2.138 yang dikonfigurasi secara default pada Instance ECS) melalui TCP.

# Sebelum modifikasi
forward . /etc/resolv.conf
# Setelah modifikasi
forward . /etc/resolv.conf {
  prefer_udp
}

Konfigurasikan plugin ready

Versi CoreDNS 1.5.0 dan lebih baru memerlukan plugin ready untuk diaktifkan guna mengaktifkan pemeriksaan kesiapan.

1. Jalankan perintah berikut untuk membuka file konfigurasi CoreDNS:

   kubectl -n kube-system edit configmap/coredns

2. Periksa apakah file berisi baris dengan ready. Jika tidak, tambahkan baris ready, tekan tombol Esc, masukkan :wq!, lalu tekan Enter untuk menyimpan file konfigurasi yang dimodifikasi dan keluar dari mode edit.

   apiVersion: v1
   data:
    Corefile: |
     .:53 {
       errors
       health {
         lameduck 15s
       }
       ready # Jika baris ini tidak ada, tambahkan. Pastikan indentasi konsisten dengan Kubernetes.
       kubernetes cluster.local in-addr.arpa ip6.arpa {
         pods verified
         fallthrough in-addr.arpa ip6.arpa
       }
       prometheus :9153
       forward . /etc/resolv.conf {
         max_concurrent 1000
               prefer_udp
       }
       cache 30
       loop
       log
       reload
       loadbalance
     }

3. Periksa status dan log Pod CoreDNS. Jika log berisi kata reload, modifikasi berhasil.

Konfigurasikan plugin multisocket

CoreDNS v1.12.1 memperkenalkan plugin multisocket. Anda dapat mengaktifkan plugin ini untuk memungkinkan CoreDNS mendengarkan pada port yang sama menggunakan beberapa soket, yang meningkatkan kinerja CoreDNS dalam skenario CPU tinggi. Untuk informasi lebih lanjut tentang plugin ini, lihat dokumentasi komunitas.

Anda perlu mengaktifkan multisocket dalam ConfigMap coredns:

.:53 {
        ...
        prometheus :9153
        multisocket [NUM_SOCKETS]
        forward . /etc/resolv.conf
        ...
}

NUM_SOCKETS menentukan jumlah soket yang mendengarkan pada port yang sama.

Rekomendasi konfigurasi: Sesuaikan NUM_SOCKETS dengan perkiraan utilisasi CPU, batas resource CPU, dan resource kluster yang tersedia, misalnya:

• Jika CoreDNS mengonsumsi 4 core selama jam sibuk dan resource yang tersedia adalah 8 core, atur NUM_SOCKETS ke 2.

• Jika CoreDNS mengonsumsi 8 core selama jam sibuk dan 64 core tersedia, atur NUM_SOCKETS ke 8.

Untuk menentukan konfigurasi optimal, kami merekomendasikan Anda menguji QPS dan beban dengan konfigurasi berbeda.

Jika Anda tidak menentukan NUM_SOCKETS, nilai defaultnya adalah GOMAXPROCS, yang sama dengan batas CPU Pod CoreDNS. Jika batas CPU Pod tidak diatur, nilainya sama dengan jumlah core CPU pada node tempat Pod tersebut berjalan.