Container Service for Kubernetes：Praktik terbaik DNS

Metrik

CoreDNS mengekspos metrik kesehatan, seperti hasil resolusi, melalui antarmuka Prometheus standar untuk mendeteksi pengecualian pada server CoreDNS bahkan server DNS hulu.

Prometheus untuk Alibaba Cloud menyediakan pemantauan metrik bawaan dan aturan peringatan untuk CoreDNS. Anda dapat mengaktifkan fitur Prometheus dan dasbor di Konsol Container Service for Kubernetes (ACK). Untuk informasi selengkapnya, lihat Pantau komponen CoreDNS.

Jika Anda menggunakan instance Prometheus yang dikelola sendiri untuk memantau kluster Kubernetes Anda, Anda dapat mengamati metrik terkait di Prometheus dan menetapkan peringatan untuk metrik utama. Untuk informasi selengkapnya, lihat dokumentasi resmi Prometheus CoreDNS.

Log berjalan

Jika terjadi pengecualian DNS, log CoreDNS dapat membantu Anda mendiagnosis akar penyebabnya dengan cepat. Kami merekomendasikan Anda mengaktifkan log resolusi nama domain CoreDNS dan koleksi log SLS-nya. Untuk informasi selengkapnya, lihat Analisis dan pantau log CoreDNS.

Pengiriman event Kubernetes

Pada CoreDNS v1.9.3.6-32932850-aliyun dan versi lebih baru, Anda dapat mengaktifkan plugin k8s_event untuk mengirimkan log CoreDNS utama ke Event Hub sebagai event Kubernetes. Untuk informasi selengkapnya tentang plugin k8s_event, lihat k8s_event.

Fitur ini diaktifkan secara default untuk CoreDNS yang baru diterapkan. Jika Anda memutakhirkan dari versi CoreDNS sebelumnya ke v1.9.3.6-32932850-aliyun atau lebih baru, Anda harus memodifikasi file konfigurasi secara manual untuk mengaktifkan fitur ini.

1. Jalankan perintah berikut untuk membuka file konfigurasi CoreDNS.

   kubectl -n kube-system edit configmap/coredns

2. Tambahkan plugin kubeAPI dan k8s_event.

   apiVersion: v1
   data:
     Corefile: |
       .:53 {
           errors
           health {
               lameduck 15s
           }
   
           // Tambahkan konten berikut (abaikan perbedaan lainnya).
           kubeapi
           k8s_event {
             level info error warning // Kirim log utama dengan status info, error, dan warning.
           }
           // Akhir konten yang ditambahkan.
   
           kubernetes cluster.local in-addr.arpa ip6.arpa {
               pods verified
               fallthrough in-addr.arpa ip6.arpa
           }
           // Konten berikutnya dihilangkan.
       }

3. Periksa status berjalan dan log Pod CoreDNS. Jika log berisi kata reload, modifikasi berhasil.

Evaluasi tekanan pada komponen CoreDNS

Anda dapat melakukan uji stres DNS di kluster untuk mengevaluasi beban pada komponen tersebut. Banyak alat sumber terbuka, seperti DNSPerf, dapat membantu Anda mencapai hal ini. Jika Anda tidak dapat mengevaluasi beban DNS di kluster secara akurat, Anda dapat merujuk pada standar rekomendasi berikut.

• Kami merekomendasikan Anda mengatur jumlah Pod CoreDNS minimal 2. Batas sumber daya Pod tunggal sebaiknya tidak kurang dari 1 core dan 1 GB.

• Permintaan resolusi nama domain per detik (QPS) yang dapat disediakan CoreDNS berkorelasi positif dengan konsumsi CPU. Jika NodeLocal DNSCache digunakan, setiap core CPU dapat mendukung lebih dari 10.000 QPS untuk permintaan resolusi nama domain. Persyaratan QPS untuk permintaan nama domain sangat bervariasi antar jenis layanan. Anda dapat mengamati penggunaan CPU puncak setiap Pod CoreDNS. Jika penggunaan CPU melebihi satu core selama jam sibuk, kami merekomendasikan Anda melakukan skala-keluar replika CoreDNS. Jika Anda tidak dapat menentukan penggunaan CPU puncak, Anda dapat menerapkan Pod secara konservatif dengan rasio 1 Pod untuk setiap 8 node kluster. Artinya, untuk setiap penambahan 8 node kluster, tambahkan satu Pod CoreDNS.

Sesuaikan jumlah Pod CoreDNS

Jumlah Pod CoreDNS secara langsung menentukan sumber daya komputasi yang dapat digunakan CoreDNS. Anda dapat menyesuaikan jumlah Pod CoreDNS berdasarkan hasil evaluasi.

• Menyesuaikan secara otomatis berdasarkan kebijakan yang direkomendasikan

  Anda dapat men-deploy dns-autoscaler. Alat ini secara otomatis menyesuaikan jumlah Pod CoreDNS berdasarkan kebijakan yang direkomendasikan, seperti satu Pod untuk setiap delapan node kluster. Jumlah replika dihitung menggunakan rumus: replicas = max(ceil(cores × 1/coresPerReplica), ceil(nodes × 1/nodesPerReplica)), dan dibatasi oleh nilai max dan min.

  dns-autoscaler

  apiVersion: apps/v1
  kind: Deployment
  metadata:
    name: dns-autoscaler
    namespace: kube-system
    labels:
      k8s-app: dns-autoscaler
  spec:
    selector:
      matchLabels:
        k8s-app: dns-autoscaler
    template:
      metadata:
        labels:
          k8s-app: dns-autoscaler
      spec:
        serviceAccountName: admin
        containers:
        - name: autoscaler
          image: registry.cn-hangzhou.aliyuncs.com/acs/cluster-proportional-autoscaler:1.8.4
          resources:
            requests:
              cpu: "200m"
              memory: "150Mi"
          command:
          - /cluster-proportional-autoscaler
          - --namespace=kube-system
          - --configmap=dns-autoscaler
          - --nodelabels=type!=virtual-kubelet
          - --target=Deployment/coredns
          - --default-params={"linear":{"coresPerReplica":64,"nodesPerReplica":8,"min":2,"max":100,"preventSinglePointFailure":true}}
          - --logtostderr=true
          - --v=9

• Menyesuaikan secara manual

  Anda dapat menjalankan perintah berikut untuk menyesuaikan jumlah Pod CoreDNS secara manual.

  kubectl scale --replicas={target} deployment/coredns -n kube-system # Ganti target dengan jumlah Pod yang diinginkan.

• Jangan gunakan penskalaan beban kerja otomatis

  Meskipun penskalaan beban kerja otomatis, seperti Penyesuaian Otomatis Pod Horizontal (HPA) dan CronHPA, juga dapat menyesuaikan jumlah Pod secara otomatis, alat ini melakukan operasi penskalaan yang sering. Karena pengecualian resolusi yang disebabkan oleh skala-masuk Pod yang disebutkan sebelumnya, jangan gunakan penskalaan beban kerja otomatis untuk mengontrol jumlah Pod CoreDNS.

Sesuaikan spesifikasi Pod CoreDNS

Cara lain untuk menyesuaikan sumber daya CoreDNS adalah dengan menyesuaikan spesifikasi Pod. Di kluster ACK Pro, batas memori default untuk Pod CoreDNS adalah 2 GiB, dan tidak ada batas CPU. Kami merekomendasikan Anda mengatur batas CPU menjadi 4096m, dan nilai minimum sebaiknya tidak kurang dari 1024m. Anda dapat menyesuaikan konfigurasi Pod CoreDNS di konsol.

Jadwalkan Pod CoreDNS

Kami merekomendasikan Anda menerapkan Pod CoreDNS di node kluster yang berbeda di zona berbeda untuk menghindari kegagalan node tunggal dan zona tunggal. Komponen CoreDNS sebelum v1.8.4.3 dikonfigurasi dengan anti-afinitas lemah berdasarkan node secara default. Hal ini dapat menyebabkan beberapa atau semua Pod diterapkan di node yang sama karena sumber daya node yang tidak mencukupi. Jika hal ini terjadi, Anda dapat menghapus Pod untuk memicu penyesuaian penjadwalan, atau memutakhirkan komponen ke versi terbaru. Versi komponen CoreDNS sebelum v1.8 tidak lagi dipelihara. Kami merekomendasikan Anda segera memutakhirkan versi tersebut.

Node kluster tempat CoreDNS berjalan sebaiknya tidak memiliki penggunaan CPU dan memori penuh. Jika tidak, QPS dan latensi tanggapan resolusi nama domain akan terpengaruh. Jika kondisi node kluster memungkinkan, Anda dapat mempertimbangkan penggunaan parameter kustom untuk menjadwalkan CoreDNS ke node kluster independen guna menyediakan layanan resolusi nama domain yang stabil.

Nonaktifkan konfigurasi afinitas layanan kube-dns

Nonaktifkan plugin Autopath

Beberapa versi CoreDNS sebelumnya memiliki plugin Autopath yang diaktifkan. Plugin ini dapat menyebabkan hasil resolusi salah dalam beberapa skenario ekstrem. Anda harus memeriksa apakah plugin ini diaktifkan dan mengedit file konfigurasi untuk menonaktifkannya. Untuk informasi selengkapnya, lihat Autopath.

1. Jalankan perintah kubectl -n kube-system edit configmap coredns untuk membuka file konfigurasi CoreDNS.

2. Hapus baris autopath @kubernetes lalu simpan dan keluar.

3. Periksa status berjalan dan log Pod CoreDNS. Jika log berisi kata reload, modifikasi berhasil.

Konfigurasikan shutdown yang mulus untuk CoreDNS

lameduck adalah mekanisme di CoreDNS yang menerapkan shutdown yang mulus. Jika CoreDNS perlu dihentikan atau dimulai ulang, mekanisme ini memastikan permintaan yang sedang diproses dapat diselesaikan secara normal tanpa gangguan mendadak. Mekanisme lameduck bekerja sebagai berikut:

• Jika proses CoreDNS akan dihentikan, ia memasuki mode lameduck.

• Dalam mode lameduck, CoreDNS berhenti menerima permintaan baru tetapi terus memproses permintaan yang telah diterima hingga semua permintaan selesai atau periode waktu habis lameduck terlampaui.

Konfigurasikan protokol default untuk plugin forward dan server DNS VPC hulu

NodeLocal DNSCache menggunakan protokol TCP untuk berkomunikasi dengan CoreDNS. CoreDNS berkomunikasi dengan server DNS hulu menggunakan protokol yang digunakan oleh sumber permintaan. Oleh karena itu, secara default, permintaan untuk menyelesaikan nama domain di luar kluster dari kontainer aplikasi melewati NodeLocal DNSCache dan CoreDNS, lalu akhirnya dikirim melalui TCP ke server DNS VPC. Server DNS VPC adalah dua alamat IP, yaitu 100.100.2.136 dan 100.100.2.138, yang dikonfigurasi secara default pada Instance ECS.

# Sebelum modifikasi
forward . /etc/resolv.conf
# Setelah modifikasi
forward . /etc/resolv.conf {
  prefer_udp
}

Konfigurasikan plugin ready untuk pemeriksaan kesiapan

Untuk versi CoreDNS 1.5.0 dan lebih baru, Anda harus mengonfigurasi plugin ready untuk mengaktifkan pemeriksaan kesiapan.

1. Jalankan perintah berikut untuk membuka file konfigurasi CoreDNS.

   kubectl -n kube-system edit configmap/coredns

2. Periksa apakah file berisi baris ready. Jika tidak, tambahkan baris ready. Tekan tombol Esc, masukkan :wq!, lalu tekan Enter untuk menyimpan file konfigurasi yang dimodifikasi dan keluar dari mode edit.

   apiVersion: v1
   data:
    Corefile: |
     .:53 {
       errors
       health {
         lameduck 15s
       }
       ready # Jika baris ini tidak ada, tambahkan. Perhatikan indentasi harus konsisten dengan Kubernetes.
       kubernetes cluster.local in-addr.arpa ip6.arpa {
         pods verified
         fallthrough in-addr.arpa ip6.arpa
       }
       prometheus :9153
       forward . /etc/resolv.conf {
         max_concurrent 1000
               prefer_udp
       }
       cache 30
       loop
       log
       reload
       loadbalance
     }

3. Periksa status berjalan dan log Pod CoreDNS. Jika log berisi kata reload, modifikasi berhasil.

Konfigurasikan plugin multisocket untuk meningkatkan kinerja penguraian CoreDNS

CoreDNS v1.12.1 memperkenalkan plugin multisocket. Mengaktifkan plugin ini memungkinkan CoreDNS mendengarkan pada port yang sama menggunakan beberapa soket, yang meningkatkan kinerja CoreDNS dalam skenario dengan penggunaan CPU tinggi. Untuk pengenalan detail plugin ini, lihat dokumentasi komunitas.

Anda perlu mengaktifkan multisocket melalui ConfigMap coredns:

.:53 {
        ...
        prometheus :9153
        multisocket [NUM_SOCKETS]
        forward . /etc/resolv.conf
        ...
}

NUM_SOCKETS menentukan jumlah soket yang mendengarkan pada port yang sama.

Rekomendasi konfigurasi: Sesuaikan nilai NUM_SOCKETS dengan perkiraan penggunaan CPU, batas sumber daya CPU, dan sumber daya kluster yang tersedia. Contohnya:

• Jika CoreDNS mengonsumsi 4 core pada puncaknya dan sumber daya yang tersedia adalah 8 core, atur NUM_SOCKETS menjadi 2.

• Jika CoreDNS mengonsumsi 8 core pada puncaknya dan sumber daya yang tersedia adalah 64 core, atur NUM_SOCKETS menjadi 8.

Untuk menentukan konfigurasi optimal, kami merekomendasikan Anda menguji QPS dan beban dengan konfigurasi berbeda.

Jika Anda tidak menentukan NUM_SOCKETS, GOMAXPROCS digunakan secara default, yang sama dengan batas CPU Pod CoreDNS. Jika batas CPU Pod tidak diatur, nilainya sama dengan jumlah core CPU pada node tempat Pod berada.