Container Service for Kubernetes:Praktik terbaik DNS

Metrik pemantauan

CoreDNS mengekspos metrik kesehatan, seperti hasil resolusi, melalui antarmuka Prometheus standar. Hal ini membantu Anda mendeteksi anomali pada CoreDNS atau server DNS hulu.

Prometheus untuk ACK mencakup metrik pemantauan CoreDNS dan aturan peringatan bawaan. Anda dapat mengaktifkan fitur Prometheus dan Dashboard di Konsol Container Service for Kubernetes. Untuk informasi lebih lanjut, lihat Pemantauan komponen CoreDNS.

Jika Anda menjalankan instance Prometheus self-managed untuk kluster Kubernetes Anda, Anda dapat mengamati metrik terkait dan menyetel peringatan untuk metrik kritis. Untuk informasi lebih lanjut, lihat dokumentasi resmi Prometheus CoreDNS.

Log operasional

Saat terjadi anomali DNS, Anda dapat menggunakan log CoreDNS untuk segera mendiagnosis akar penyebabnya. Anda dapat mengaktifkan log resolusi domain CoreDNS dan pengumpulan log SLS. Untuk informasi lebih lanjut, lihat Analisis dan pantau log CoreDNS.

Pengiriman event Kubernetes

Pada CoreDNS v1.9.3.6-32932850-aliyun dan seterusnya, Anda dapat mengaktifkan plugin k8s_event untuk mengirimkan log CoreDNS kritis sebagai event Kubernetes ke Event Hub. Untuk informasi lebih lanjut tentang plugin k8s_event, lihat k8s_event.

Instans CoreDNS yang baru diterapkan memiliki fitur ini diaktifkan secara default. Jika Anda melakukan peningkatan dari versi CoreDNS lama, Anda harus memodifikasi file konfigurasi secara manual untuk mengaktifkan fitur tersebut.

1. Jalankan perintah berikut untuk membuka file konfigurasi CoreDNS.

   kubectl -n kube-system edit configmap/coredns

2. Tambahkan plugin kubeAPI dan k8s_event.

   apiVersion: v1
   data:
     Corefile: |
       .:53 {
           errors
           health {
               lameduck 15s
           }
           // Mulai penambahan (abaikan perbedaan lainnya).
           kubeapi
           k8s_event {
             level info error warning // Kirim log kritis dengan level info, error, atau warning.
           }
           // Akhir penambahan.
           kubernetes cluster.local in-addr.arpa ip6.arpa {
               pods verified
               fallthrough in-addr.arpa ip6.arpa
           }
           // Di bawah ini dihilangkan.
       }

3. Periksa status dan log Pod CoreDNS. Jika log berisi kata reload, modifikasi berhasil.

Evaluasi tekanan komponen CoreDNS

Anda dapat menjalankan uji stres DNS di kluster Anda untuk mengevaluasi tekanan komponen. Banyak alat open-source, seperti DNSPerf, dapat membantu hal ini. Jika Anda tidak dapat mengevaluasi tekanan DNS secara akurat, ikuti rekomendasi berikut:

• Selalu terapkan minimal dua Pod CoreDNS, dengan setiap Pod memiliki batas resource minimal 1 core CPU dan 1 GB memori.

• Kapasitas QPS CoreDNS berkorelasi langsung dengan penggunaan CPU. Dengan NodeLocal DNSCache, setiap core CPU dapat mendukung lebih dari 10.000 QPS. Persyaratan QPS DNS untuk workload bisnis sangat bervariasi. Anda harus memantau penggunaan CPU puncak setiap Pod CoreDNS. Jika penggunaan CPU melebihi satu core selama periode puncak bisnis, lakukan penskalaan jumlah replika CoreDNS. Jika penggunaan CPU puncak tidak diketahui, sebagai langkah konservatif, terapkan satu Pod CoreDNS untuk setiap delapan node di kluster.

Sesuaikan jumlah Pod CoreDNS

Jumlah Pod CoreDNS secara langsung menentukan resource komputasi yang tersedia. Anda dapat menyesuaikan jumlah ini berdasarkan evaluasi Anda.

• Menyesuaikan jumlah Pod secara otomatis berdasarkan kebijakan yang direkomendasikan

  Anda dapat menerapkan dns-autoscaler berikut. Alat ini secara otomatis menyesuaikan jumlah Pod CoreDNS secara real-time berdasarkan rasio yang direkomendasikan yaitu satu Pod untuk setiap delapan node kluster. Rumus jumlah replika adalah `replicas = max(ceil(cores × 1/coresPerReplica), ceil(nodes × 1/nodesPerReplica))`, yang dibatasi oleh batas max dan min.

  dns-autoscaler

  apiVersion: apps/v1
  kind: Deployment
  metadata:
    name: dns-autoscaler
    namespace: kube-system
    labels:
      k8s-app: dns-autoscaler
  spec:
    selector:
      matchLabels:
        k8s-app: dns-autoscaler
    template:
      metadata:
        labels:
          k8s-app: dns-autoscaler
      spec:
        serviceAccountName: admin
        containers:
        - name: autoscaler
          image: registry.cn-hangzhou.aliyuncs.com/acs/cluster-proportional-autoscaler:1.8.4
          resources:
            requests:
              cpu: "200m"
              memory: "150Mi"
          command:
          - /cluster-proportional-autoscaler
          - --namespace=kube-system
          - --configmap=dns-autoscaler
          - --nodelabels=type!=virtual-kubelet
          - --target=Deployment/coredns
          - --default-params={"linear":{"coresPerReplica":64,"nodesPerReplica":8,"min":2,"max":100,"preventSinglePointFailure":true}}
          - --logtostderr=true
          - --v=9

• Penyesuaian manual

  Anda dapat menyesuaikan jumlah Pod CoreDNS secara manual dengan menjalankan perintah berikut.

  kubectl scale --replicas={target} deployment/coredns -n kube-system # Ganti {target} dengan jumlah Pod yang diinginkan

• Jangan gunakan autoscaling workload

  Meskipun mekanisme autoscaling workload seperti Penyesuaian Otomatis Pod Horizontal (HPA) atau CronHPA dapat menyesuaikan jumlah Pod secara otomatis, mekanisme ini memicu operasi penskalaan yang sering. Karena anomali resolusi yang dapat terjadi selama skala-masuk Pod seperti yang dijelaskan sebelumnya, jangan gunakan autoscaling workload untuk mengontrol jumlah Pod CoreDNS.

Sesuaikan spesifikasi Pod CoreDNS

Cara lain untuk menyesuaikan resource CoreDNS adalah dengan memodifikasi spesifikasi Pod. Di kluster ACK yang dikelola Pro, Pod CoreDNS memiliki batas memori default 2Gi dan tidak memiliki batas CPU. Kami merekomendasikan agar Anda menyetel batas CPU ke 4096m, dengan minimum 1024m. Anda dapat menyesuaikan konfigurasi Pod CoreDNS di konsol.

Jadwalkan Pod CoreDNS

Terapkan Pod CoreDNS di berbagai zona dan node kluster untuk menghindari kegagalan node tunggal atau zona tunggal. Versi CoreDNS sebelum v1.8.4.3 menggunakan anti-afinitas node lemah secara default. Hal ini dapat menyebabkan beberapa atau semua Pod diterapkan pada node yang sama karena sumber daya node yang tidak mencukupi. Jika hal ini terjadi, Anda dapat menghapus Pod untuk memicu penjadwalan ulang atau meningkatkan ke versi komponen terbaru. Versi CoreDNS sebelum v1.8 tidak lagi dipelihara. Kami merekomendasikan agar Anda segera meningkatkannya.

Hindari menerapkan CoreDNS pada node kluster yang memiliki pemanfaatan CPU atau memori penuh karena hal ini memengaruhi QPS DNS dan latensi respons. Jika memungkinkan, gunakan parameter kustom untuk menjadwalkan CoreDNS pada node kluster khusus guna memastikan resolusi nama domain yang stabil.

Nonaktifkan pengaturan afinitas untuk layanan kube-dns

Nonaktifkan plugin Autopath

Beberapa versi CoreDNS lama memiliki plugin Autopath yang diaktifkan. Plugin ini dapat menghasilkan hasil resolusi yang salah dalam skenario ekstrem. Anda dapat memverifikasi apakah plugin tersebut diaktifkan dan menonaktifkannya dengan mengedit file konfigurasi. Untuk informasi lebih lanjut, lihat Autopath.

1. Jalankan perintah kubectl -n kube-system edit configmap coredns untuk membuka file konfigurasi CoreDNS.

2. Hapus baris autopath @kubernetes dan simpan perubahan.

3. Periksa status dan log Pod CoreDNS. Jika log berisi kata reload, modifikasi berhasil.

Konfigurasikan shutdown yang mulus untuk CoreDNS

Mekanisme lameduck di CoreDNS memungkinkan shutdown yang mulus. Saat CoreDNS berhenti atau restart, mekanisme ini memastikan bahwa permintaan yang sedang berlangsung diselesaikan secara normal tanpa terputus secara tiba-tiba. Mekanisme lameduck bekerja sebagai berikut:

• Saat CoreDNS dihentikan, ia memasuki mode Lameduck.

• Dalam mode lameduck, CoreDNS berhenti menerima permintaan baru tetapi terus memproses permintaan yang ada hingga selesai atau hingga periode timeout lameduck berakhir.

Tetapkan protokol default untuk plugin Forward saat berkomunikasi dengan server DNS VPC hulu

NodeLocal DNSCache berkomunikasi dengan CoreDNS menggunakan TCP. CoreDNS menggunakan protokol yang sama dengan permintaan masuk saat berkomunikasi dengan server DNS hulu. Secara default, permintaan resolusi domain eksternal dari kontainer aplikasi melewati NodeLocal DNSCache dan CoreDNS, lalu mencapai server DNS VPC (100.100.2.136 dan 100.100.2.138) menggunakan TCP.

# Sebelum modifikasi
forward . /etc/resolv.conf
# Setelah modifikasi
forward . /etc/resolv.conf {
  prefer_udp
}

Konfigurasikan plugin Pemeriksaan kesiapan Ready

Versi CoreDNS setelah 1.5.0 memerlukan plugin ready untuk mengaktifkan pemeriksaan kesiapan.

1. Jalankan perintah berikut untuk membuka file konfigurasi CoreDNS.

   kubectl -n kube-system edit configmap/coredns

2. Periksa baris ready. Jika tidak ada, tambahkan ready. Tekan Esc, ketik :wq!, lalu tekan Enter untuk menyimpan perubahan dan keluar.

   apiVersion: v1
   data:
    Corefile: |
     .:53 {
       errors
       health {
         lameduck 15s
       }
       ready # Tambahkan baris ini jika tidak ada, pastikan indentasi konsisten dengan Kubernetes.
       kubernetes cluster.local in-addr.arpa ip6.arpa {
         pods verified
         fallthrough in-addr.arpa ip6.arpa
       }
       prometheus :9153
       forward . /etc/resolv.conf {
         max_concurrent 1000
               prefer_udp
       }
       cache 30
       loop
       log
       reload
       loadbalance
     }

3. Periksa status dan log Pod CoreDNS. Jika log berisi kata reload, modifikasi berhasil.

Konfigurasikan plugin multisocket untuk meningkatkan kinerja resolusi CoreDNS

CoreDNS v1.12.1 memperkenalkan plugin multisocket. Jika Anda mengaktifkan plugin ini, CoreDNS dapat menggunakan beberapa soket untuk mendengarkan pada port yang sama, yang meningkatkan kinerja dalam skenario CPU tinggi. Untuk informasi lebih lanjut tentang plugin ini, lihat dokumentasi komunitas.

Anda dapat mengaktifkan multisocket di ConfigMap coredns:

.:53 {
        ...
        prometheus :9153
        multisocket [NUM_SOCKETS]
        forward . /etc/resolv.conf
        ...
}

NUM_SOCKETS menentukan jumlah soket yang mendengarkan pada port yang sama.

Rekomendasi konfigurasi: Kami merekomendasikan agar Anda menyelaraskan nilai NUM_SOCKETS dengan perkiraan penggunaan CPU, batas resource CPU, dan resource yang tersedia di kluster. Contohnya:

• Jika CoreDNS mengonsumsi 4 core pada puncaknya dan 8 core tersedia, atur NUM_SOCKETS ke 2.

• Jika CoreDNS mengonsumsi 8 core pada puncaknya dan 64 core tersedia, atur NUM_SOCKETS ke 8.

Untuk menentukan konfigurasi optimal, Anda dapat menguji pengaturan berbeda dan mengukur QPS serta beban.

Jika Anda tidak menentukan NUM_SOCKETS, CoreDNS menggunakan GOMAXPROCS secara default. Nilai `GOMAXPROCS` sama dengan batas CPU Pod CoreDNS. Jika tidak ada batas CPU yang ditetapkan, nilainya sama dengan jumlah core CPU pada node.