Container Service for Kubernetes:Praktik terbaik DNS

Metrik

CoreDNS mengekspos metrik kesehatan, termasuk hasil resolusi, melalui antarmuka Prometheus standar. Hal ini membantu mendeteksi anomali pada server CoreDNS bahkan server DNS hulu.

Managed Service for Prometheus menyediakan dasbor pemantauan metrik bawaan dan aturan peringatan untuk CoreDNS. Anda dapat mengaktifkan Prometheus dan fitur dasbornya di Konsol ACK. Untuk informasi lebih lanjut, lihat Pantau komponen CoreDNS.

Jika Anda menggunakan instance Prometheus yang dikelola sendiri untuk memantau kluster Kubernetes Anda, Anda dapat mengamati metrik yang relevan di Prometheus dan menyiapkan peringatan untuk indikator kunci. Untuk informasi lebih lanjut, lihat dokumentasi resmi CoreDNS untuk Prometheus.

Log

Jika terjadi anomali DNS, log CoreDNS dapat membantu Anda mendiagnosis akar penyebabnya dengan cepat. Kami merekomendasikan Anda mengaktifkan logging resolusi nama domain CoreDNS dan mengumpulkan log-nya dengan Log Service. Untuk informasi lebih lanjut, lihat Analisis dan pantau log CoreDNS.

Pengiriman event Kubernetes

Pada CoreDNS v1.9.3.6-32932850-aliyun dan versi lebih baru, Anda dapat mengaktifkan plugin k8s_event untuk mengirimkan log CoreDNS kritis sebagai event Kubernetes ke Pusat Insiden. Untuk informasi lebih lanjut tentang plugin k8s_event, lihat k8s_event.

Fitur ini diaktifkan secara default pada penerapan CoreDNS baru. Jika Anda meningkatkan dari versi sebelumnya ke CoreDNS v1.9.3.6-32932850-aliyun atau lebih baru, Anda perlu memodifikasi file konfigurasi secara manual untuk mengaktifkannya.

1. Jalankan perintah berikut untuk membuka file konfigurasi CoreDNS.

   kubectl -n kube-system edit configmap/coredns

2. Tambahkan plugin kubeapi dan k8s_event.

   apiVersion: v1
   data:
     Corefile: |
       .:53 {
           errors
           health {
               lameduck 15s
           }
           // Awal penambahan (abaikan perbedaan lainnya).
           kubeapi
           k8s_event {
             level info error warning // Kirim log kritis dengan status info, error, dan warning.
           }
           // Akhir penambahan.
           kubernetes cluster.local in-addr.arpa ip6.arpa {
               pods verified
               fallthrough in-addr.arpa ip6.arpa
           }
           // ... (konten sisanya dihilangkan)
       }

3. Periksa status operasional dan log Pod CoreDNS. Jika log berisi kata reload, modifikasi berhasil.

Evaluasi tekanan komponen CoreDNS

Anda dapat melakukan uji stres DNS dalam kluster untuk mengevaluasi tekanan komponen. Banyak alat open-source, termasuk DNSPerf, dapat membantu Anda dalam hal ini. Jika Anda tidak dapat mengevaluasi tekanan DNS dalam kluster Anda secara akurat, ikuti rekomendasi berikut.

• Selalu atur jumlah Pod CoreDNS minimal 2, dengan batas resource minimal 1 core dan 1 GiB untuk satu Pod.

• QPS resolusi nama domain CoreDNS berkorelasi positif dengan konsumsi CPU-nya. Dengan NodeLocal DNSCache diaktifkan, setiap core CPU dapat mendukung lebih dari 10.000 QPS. Permintaan QPS untuk permintaan nama domain sangat bervariasi tergantung jenis layanan. Anda dapat mengamati penggunaan CPU puncak setiap Pod CoreDNS. Jika sebuah Pod menggunakan lebih dari satu core CPU selama jam sibuk, kami merekomendasikan Anda melakukan scale out replika CoreDNS. Jika Anda tidak dapat menentukan penggunaan CPU puncak, Anda dapat secara konservatif menggunakan rasio 1:8 antara Pod dan node kluster. Artinya, untuk setiap 8 node kluster yang Anda tambahkan, tambahkan satu Pod CoreDNS.

Sesuaikan jumlah Pod CoreDNS

Jumlah Pod CoreDNS secara langsung menentukan sumber daya komputasi yang dapat digunakan CoreDNS. Anda dapat menyesuaikan jumlah Pod CoreDNS berdasarkan evaluasi Anda.

• Menyesuaikan secara otomatis berdasarkan kebijakan yang direkomendasikan

  Anda dapat menerapkan dns-autoscaler berikut. Alat ini secara otomatis menyesuaikan jumlah Pod CoreDNS secara real-time berdasarkan kebijakan yang direkomendasikan (rasio 1:8 antara Pod dan node kluster). Jumlah Pod dihitung menggunakan rumus berikut: replicas = max(ceil(cores × 1/coresPerReplica), ceil(nodes × 1/nodesPerReplica)), dan dibatasi oleh parameter max dan min.

  dns-autoscaler

  apiVersion: apps/v1
  kind: Deployment
  metadata:
    name: dns-autoscaler
    namespace: kube-system
    labels:
      k8s-app: dns-autoscaler
  spec:
    selector:
      matchLabels:
        k8s-app: dns-autoscaler
    template:
      metadata:
        labels:
          k8s-app: dns-autoscaler
      spec:
        serviceAccountName: admin
        containers:
        - name: autoscaler
          image: registry.cn-hangzhou.aliyuncs.com/acs/cluster-proportional-autoscaler:1.8.4
          resources:
            requests:
              cpu: "200m"
              memory: "150Mi"
          command:
          - /cluster-proportional-autoscaler
          - --namespace=kube-system
          - --configmap=dns-autoscaler
          - --nodelabels=type!=virtual-kubelet
          - --target=Deployment/coredns
          - --default-params={"linear":{"coresPerReplica":64,"nodesPerReplica":8,"min":2,"max":100,"preventSinglePointFailure":true}}
          - --logtostderr=true
          - --v=9

• Menyesuaikan secara manual

  Anda dapat menjalankan perintah berikut untuk menyesuaikan jumlah Pod CoreDNS secara manual.

  kubectl scale --replicas={target} deployment/coredns -n kube-system # Ganti {target} dengan jumlah Pod yang diinginkan.

• Jangan gunakan auto-scaling beban kerja

  Meskipun fitur auto-scaling beban kerja seperti Horizontal Pod Autoscaler (HPA) dan CronHPA juga dapat menyesuaikan jumlah Pod secara otomatis, fitur ini melakukan operasi scaling yang sering. Karena anomali resolusi yang terjadi saat Pod diskalakan turun, jangan gunakan auto-scaling beban kerja untuk mengontrol jumlah Pod CoreDNS.

Sesuaikan spesifikasi Pod CoreDNS

Cara lain untuk menyesuaikan resource CoreDNS adalah dengan memodifikasi spesifikasi Pod. Pada kluster ACK managed Pro, batas memori default untuk Pod CoreDNS adalah 2Gi, tanpa batas CPU. Atur batas CPU ke 4096m, dengan minimum 1024m. Anda dapat menyesuaikan konfigurasi Pod CoreDNS di konsol.

Jadwalkan Pod CoreDNS

Kami merekomendasikan Anda menerapkan Pod CoreDNS di berbagai zona ketersediaan dan node kluster untuk menghindari kegagalan single-node atau single-zona ketersediaan. Versi komponen CoreDNS sebelum v1.8.4.3 memiliki kebijakan anti-afinitas lunak default di tingkat node, yang dapat menyebabkan beberapa atau semua Pod diterapkan pada node yang sama jika sumber daya tidak mencukupi. Jika hal ini terjadi, hapus Pod untuk memicu penjadwalan ulang, atau tingkatkan komponen ke versi terbaru. Versi komponen CoreDNS sebelum v1.8 tidak lagi dipelihara dan harus segera ditingkatkan.

Node kluster tempat CoreDNS berjalan sebaiknya tidak memiliki CPU atau memori yang sepenuhnya terpakai, karena hal ini memengaruhi QPS dan latensi respons resolusi nama domain. Saat kondisi node kluster memungkinkan, pertimbangkan untuk menggunakan parameter khusus untuk menjadwalkan CoreDNS ke node kluster khusus guna menyediakan layanan resolusi nama domain yang stabil.

Nonaktifkan afinitas sesi untuk kube-dns

Nonaktifkan plugin autopath

Beberapa versi CoreDNS sebelumnya mengaktifkan plugin autopath, yang dapat menyebabkan error resolusi dalam beberapa kasus tepi. Periksa apakah plugin tersebut diaktifkan dan edit file konfigurasi untuk menonaktifkannya. Untuk informasi lebih lanjut, lihat Autopath.

1. Jalankan perintah kubectl -n kube-system edit configmap coredns untuk membuka file konfigurasi CoreDNS.

2. Hapus baris autopath @kubernetes dan simpan file tersebut.

3. Periksa status operasional dan log Pod CoreDNS. Jika log berisi kata reload, modifikasi berhasil.

Konfigurasikan shutdown yang mulus

lameduck adalah mekanisme dalam CoreDNS yang memungkinkan shutdown yang mulus. Mekanisme ini memastikan bahwa saat CoreDNS perlu berhenti atau restart, permintaan yang sedang berlangsung diselesaikan tanpa terputus secara tiba-tiba. lameduck bekerja sebagai berikut:

• Saat proses CoreDNS akan dihentikan, proses tersebut memasuki mode Lameduck.

• Dalam mode lameduck, CoreDNS berhenti menerima permintaan baru tetapi terus memproses permintaan yang ada hingga semuanya selesai atau periode timeout lameduck terlampaui.

Konfigurasikan protokol default untuk plugin forward

NodeLocal DNSCache menggunakan TCP untuk berkomunikasi dengan CoreDNS. CoreDNS kemudian berkomunikasi dengan server DNS hulu menggunakan protokol yang sama dengan permintaan masuk. Oleh karena itu, secara default, permintaan dari kontainer bisnis untuk menyelesaikan nama domain di luar kluster melewati NodeLocal DNSCache dan CoreDNS, lalu mencapai server DNS VPC (secara default, 100.100.2.136 dan 100.100.2.138 pada Instance ECS) melalui TCP.

# Sebelum modifikasi
forward . /etc/resolv.conf
# Setelah modifikasi
forward . /etc/resolv.conf {
  prefer_udp
}

Konfigurasikan plugin ready

Versi CoreDNS setelah 1.5.0 harus memiliki plugin ready dikonfigurasi untuk mengaktifkan pemeriksaan kesiapan.

1. Jalankan perintah berikut untuk membuka file konfigurasi CoreDNS.

   kubectl -n kube-system edit configmap/coredns

2. Periksa apakah file berisi baris ready. Jika tidak, tambahkan baris ready, tekan Esc, masukkan :wq!, lalu tekan Enter untuk menyimpan file konfigurasi yang dimodifikasi dan keluar dari mode edit.

   apiVersion: v1
   data:
    Corefile: |
     .:53 {
       errors
       health {
         lameduck 15s
       }
       ready # Jika baris ini tidak ada, tambahkan. Pastikan indentasi konsisten dengan Kubernetes.
       kubernetes cluster.local in-addr.arpa ip6.arpa {
         pods verified
         fallthrough in-addr.arpa ip6.arpa
       }
       prometheus :9153
       forward . /etc/resolv.conf {
         max_concurrent 1000
               prefer_udp
       }
       cache 30
       loop
       log
       reload
       loadbalance
     }

3. Periksa status operasional dan log Pod CoreDNS. Jika log berisi kata reload, modifikasi berhasil.

Tingkatkan performa dengan plugin multisocket

CoreDNS v1.12.1 memperkenalkan plugin multisocket. Mengaktifkan plugin ini memungkinkan CoreDNS menggunakan beberapa soket untuk mendengarkan pada port yang sama, meningkatkan performa CoreDNS dalam skenario CPU tinggi. Untuk deskripsi detail plugin, lihat dokumentasi komunitas.

Anda perlu mengaktifkan multisocket menggunakan ConfigMap coredns:

.:53 {
        ...
        prometheus :9153
        multisocket [NUM_SOCKETS]
        forward . /etc/resolv.conf
        ...
}

NUM_SOCKETS menentukan jumlah soket yang mendengarkan pada port yang sama.

Konfigurasi yang direkomendasikan: Sesuaikan NUM_SOCKETS dengan perkiraan pemanfaatan CPU, batas resource CPU, dan sumber daya kluster yang tersedia. Contohnya:

• Jika CoreDNS mengonsumsi 4 core pada puncaknya dan 8 core tersedia, atur NUM_SOCKETS ke 2.

• Jika CoreDNS mengonsumsi 8 core pada puncaknya dan 64 core tersedia, atur NUM_SOCKETS ke 8.

Untuk menentukan konfigurasi optimal, kami merekomendasikan Anda menguji QPS dan beban dengan pengaturan berbeda.

Jika Anda tidak menentukan NUM_SOCKETS, nilai defaultnya adalah GOMAXPROCS, yang sama dengan batas CPU Pod CoreDNS. Jika batas CPU Pod tidak diatur, nilainya sama dengan jumlah core CPU pada node tempat Pod tersebut berjalan.