Container Service for Kubernetes:Terapkan CoreDNS unmanaged yang stabil dan berkinerja tinggi

Menilai tekanan DNS

Sebelum menyesuaikan jumlah replika, nilai tekanan DNS. Alat seperti DNSPerf dapat mengukur beban DNS.

Jika Anda tidak dapat mengukur tekanan DNS secara langsung, gunakan panduan berikut:

• Jalankan minimal 2 pod CoreDNS dengan batas sumber daya minimal 1 core dan memori 1 GB.

• Permintaan per detik (QPS) resolusi DNS meningkat secara linear seiring konsumsi CPU. Dengan NodeLocal DNSCache, setiap core CPU menangani lebih dari 10.000 permintaan per detik (QPS). Kebutuhan QPS berbagai beban kerja sangat bervariasi, jadi pantau penggunaan CPU puncak setiap pod CoreDNS; jika ada pod yang melebihi satu core selama jam sibuk bisnis, tambah jumlah replika.

• Tanpa data beban, mulailah dengan 1 pod per 8 node sebagai garis dasar.

Setelah Anda mengetahui jumlah replika target, gunakan penyesuaian otomatis (disarankan) atau skalakan secara manual.

Konfigurasi penyesuaian otomatis (disarankan)

cluster-proportional-autoscaler menyesuaikan jumlah replika CoreDNS berdasarkan ukuran kluster. Berbeda dengan HPA, komponen ini tidak bergantung pada metrik CPU atau melakukan skala-masuk yang mengganggu. Rasio default: 1 pod per 8 node.

Rumus jumlah replika: replicas = max(ceil(cores × 1/coresPerReplica), ceil(nodes × 1/nodesPerReplica)). Parameter min dan max membatasi jumlah pada rentang 2–100.

Terapkan autoscaler:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: dns-autoscaler
  namespace: kube-system
  labels:
    k8s-app: dns-autoscaler
spec:
  selector:
    matchLabels:
      k8s-app: dns-autoscaler
  template:
    metadata:
      labels:
        k8s-app: dns-autoscaler
    spec:
      serviceAccountName: admin
      containers:
      - name: autoscaler
        image: registry.cn-hangzhou.aliyuncs.com/acs/cluster-proportional-autoscaler:1.8.4
        resources:
          requests:
            cpu: "200m"
            memory: "150Mi"
        command:
        - /cluster-proportional-autoscaler
        - --namespace=kube-system
        - --configmap=dns-autoscaler
        - --nodelabels=type!=virtual-kubelet
        - --target=Deployment/coredns
        - --default-params={"linear":{"coresPerReplica":64,"nodesPerReplica":8,"min":2,"max":100,"preventSinglePointFailure":true}}
        - --logtostderr=true
        - --v=9

Skalakan secara manual

Untuk menetapkan jumlah replika tertentu:

kubectl scale --replicas=<target> deployment/coredns -n kube-system # Ganti <target> dengan jumlah pod target.

Buat kelompok node khusus

Saat membuat kelompok node, ikuti panduan berikut:

• CoreDNS bersifat intensif jaringan, bukan komputasi-intensif. Gunakan instans peningkatan jaringan dengan ukuran yang direkomendasikan 4 core dan memori 8 GB.

• Kelompok node harus memiliki minimal 2 node, karena CoreDNS menjalankan 2 pod secara default.

• Tambahkan taint dan label untuk mencegah pod lain berjalan di node tersebut. Misalnya, gunakan system-addon: system-addon sebagai pasangan kunci-nilai taint dan label, dengan Effect diatur ke NoSchedule.

Lihat Membuat dan Mengelola Kelompok Node.

Jadwalkan pod CoreDNS ke kelompok node

1. Di halaman Add-ons, temukan kartu CoreDNS dan klik Configuration.

2. Di bagian NodeSelector, tambahkan label kelompok node khusus.

   Jangan hapus label NodeSelector yang sudah ada.

   

3. Di bagian Tolerations, tambahkan toleransi yang sesuai dengan taint kelompok node.

   

4. Klik OK, lalu verifikasi bahwa pod CoreDNS berjalan di node khusus:

   kubectl -n kube-system get pod -o wide --show-labels | grep coredns

Anti-afinitas pod

CoreDNS menggunakan aturan anti-afinitas requiredDuringSchedulingIgnoredDuringExecution untuk mencegah dua pod CoreDNS berbagi node. Hal ini memerlukan minimal 2 node dengan sumber daya yang cukup, tidak termasuk:

• k8s.aliyun.com: true — node dengan penyesuaian otomatis node diaktifkan

• type: virtual-kubelet — node virtual

• alibabacloud.com/lingjun-worker: true — Node Lingjun

Konfigurasi afinitas default adalah:

      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              # virtual nodes have this label
              - key: type
                operator: NotIn
                values:
                - virtual-kubelet
              # lingjun worker nodes have this label
              - key: alibabacloud.com/lingjun-worker
                operator: NotIn
                values:
                - "true"
          preferredDuringSchedulingIgnoredDuringExecution:
          - preference:
              matchExpressions:
              # autoscaled nodes have this label
              - key: k8s.aliyun.com
                operator: NotIn
                values:
                - "true"
            weight: 100
        podAntiAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
          - labelSelector:
              matchExpressions:
              - key: k8s-app
                operator: In
                values:
                - kube-dns
            topologyKey: kubernetes.io/hostname

Penjadwalan sadar topologi

Secara default, CoreDNS menggunakan penjadwalan sadar topologi untuk menyebarkan pod di berbagai zona. Pengaturan whenUnsatisfiable: DoNotSchedule menegakkan hal ini—pod tidak akan dijadwalkan jika kondisi keseimbangan zona tidak dapat dipenuhi.

Agar berfungsi secara andal:

• Kluster Anda harus memiliki node di minimal 2 zona berbeda, masing-masing dengan minimal 1 node yang memiliki sumber daya cukup untuk CoreDNS.

• Semua node harus memiliki label topology.kubernetes.io/zone (diterapkan secara default). Label yang hilang atau tidak konsisten menyebabkan kegagalan penjadwalan atau distribusi tidak merata.

• Tingkatkan kluster Anda ke v1.27 atau lebih baru dan CoreDNS ke v1.12.1.3 atau lebih baru. Versi kluster sebelumnya tidak mendukung matchLabelKeys, sehingga pembaruan rolling CoreDNS dapat berakhir dengan pod yang tidak merata di berbagai zona dan bahkan meninggalkan beberapa zona tanpa cakupan. Lihat konfigurasi matchLabelKeys yang dijelaskan di bawah.

Versi CoreDNS sebelum v1.12.1.3 menggunakan kendala penyebaran topologi berikut:

topologySpreadConstraints:
- labelSelector:
    matchLabels:
      k8s-app: kube-dns
  maxSkew: 1
  topologyKey: topology.kubernetes.io/zone
  whenUnsatisfiable: DoNotSchedule

CoreDNS v1.12.1.3 dan lebih baru memperbaiki hal ini dengan matchLabelKeys (Kubernetes v1.27+):

topologySpreadConstraints:
- labelSelector:
    matchLabels:
      k8s-app: kube-dns
  matchLabelKeys:
  - pod-template-hash
  nodeTaintsPolicy: Honor
  maxSkew: 1
  topologyKey: topology.kubernetes.io/zone
  whenUnsatisfiable: DoNotSchedule

Menambahkan matchLabelKeys: [pod-template-hash] membatasi kendala hanya pada Set Replika saat ini, sehingga pembaruan rolling mendistribusikan pod secara merata di berbagai zona.