Container Service for Kubernetes:Menyebarkan CoreDNS unmanaged yang stabil dan berkinerja tinggi

Nilai tekanan komponen

Sebelum menyesuaikan jumlah replika, nilai tekanan DNS kluster Anda. Alat seperti DNSPerf dapat mengukur beban DNS secara keseluruhan.

Jika Anda tidak dapat mengukur tekanan DNS secara langsung, gunakan panduan berikut:

• Jalankan minimal 2 pod CoreDNS, masing-masing dengan batas sumber daya minimal 1 core CPU dan 1 GB memori.

• Dengan NodeLocal DNSCache diaktifkan, setiap core CPU menangani lebih dari 10.000 permintaan per detik (QPS). Pantau penggunaan CPU puncak per pod. Jika ada pod yang secara konsisten menggunakan lebih dari 1 core CPU selama jam sibuk, lakukan skala-keluar.

• Tanpa data beban, mulailah dengan 1 pod CoreDNS per 8 node kluster sebagai garis dasar konservatif.

Setelah Anda mengetahui jumlah replika target, gunakan penyesuaian otomatis (disarankan) atau lakukan penskalaan secara manual.

Konfigurasikan penyesuaian otomatis (disarankan)

Komponen cluster-proportional-autoscaler menyesuaikan jumlah replika CoreDNS secara real time berdasarkan ukuran kluster. Berbeda dengan HPA, komponen ini tidak bergantung pada metrik CPU CoreDNS dan tidak melakukan operasi skala-masuk yang dapat mengganggu DNS. Secara default, komponen ini menargetkan 1 pod per 8 node kluster.

Rumus jumlah replika adalah: replicas = max(ceil(cores × 1/coresPerReplica), ceil(nodes × 1/nodesPerReplica)). Parameter min dan max menjaga jumlah pod antara 2 dan 100.

Sebarkan autoscaler dengan manifes berikut:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: dns-autoscaler
  namespace: kube-system
  labels:
    k8s-app: dns-autoscaler
spec:
  selector:
    matchLabels:
      k8s-app: dns-autoscaler
  template:
    metadata:
      labels:
        k8s-app: dns-autoscaler
    spec:
      serviceAccountName: admin
      containers:
      - name: autoscaler
        image: registry.cn-hangzhou.aliyuncs.com/acs/cluster-proportional-autoscaler:1.8.4
        resources:
          requests:
            cpu: "200m"
            memory: "150Mi"
        command:
        - /cluster-proportional-autoscaler
        - --namespace=kube-system
        - --configmap=dns-autoscaler
        - --nodelabels=type!=virtual-kubelet
        - --target=Deployment/coredns
        - --default-params={"linear":{"coresPerReplica":64,"nodesPerReplica":8,"min":2,"max":100,"preventSinglePointFailure":true}}
        - --logtostderr=true
        - --v=9

Lakukan penskalaan secara manual

Untuk mengatur jumlah replika tertentu secara langsung:

kubectl scale --replicas=<target> deployment/coredns -n kube-system # Ganti <target> dengan jumlah pod target.

Buat kelompok node khusus

Saat membuat kelompok node, ikuti panduan berikut:

• CoreDNS bersifat intensif jaringan tetapi tidak intensif komputasi. Gunakan instans peningkatan jaringan dengan minimal 4 core CPU dan 8 GB memori.

• Kelompok node harus memiliki minimal 2 node, karena CoreDNS menjalankan 2 pod secara default.

• Tambahkan taint dan label untuk mencegah pod lain dijadwalkan ke node ini. Misalnya, gunakan system-addon: system-addon sebagai pasangan kunci-nilai taint sekaligus label. Atur Effect taint menjadi NoSchedule.

Untuk langkah-langkah terperinci, lihat Membuat dan Mengelola Kelompok Node.

Jadwalkan pod CoreDNS ke kelompok node

1. Pada halaman Add-ons, temukan kartu CoreDNS dan klik Configuration.

2. Pada bagian NodeSelector, tambahkan label kelompok node khusus.

   Jangan hapus label NodeSelector yang sudah ada.

   

3. Pada bagian Tolerations, tambahkan toleransi yang sesuai dengan taint kelompok node.

   

4. Klik OK. Lalu jalankan perintah berikut untuk memastikan pod CoreDNS berjalan pada kelompok node khusus:

   kubectl -n kube-system get pod -o wide --show-labels | grep coredns

Anti-afinitas pod

CoreDNS menggunakan aturan anti-afinitas pod requiredDuringSchedulingIgnoredDuringExecution untuk memastikan tidak ada dua pod CoreDNS yang berbagi node yang sama. Agar berfungsi, kluster Anda harus memiliki minimal 2 node dengan permintaan sumber daya yang cukup tersedia, tidak termasuk:

• k8s.aliyun.com: true — node dengan penyesuaian otomatis node diaktifkan

• type: virtual-kubelet — node virtual

• alibabacloud.com/lingjun-worker: true — Node Lingjun

Konfigurasi afinitas default adalah:

      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              # virtual nodes have this label
              - key: type
                operator: NotIn
                values:
                - virtual-kubelet
              # lingjun worker nodes have this label
              - key: alibabacloud.com/lingjun-worker
                operator: NotIn
                values:
                - "true"
          preferredDuringSchedulingIgnoredDuringExecution:
          - preference:
              matchExpressions:
              # autoscaled nodes have this label
              - key: k8s.aliyun.com
                operator: NotIn
                values:
                - "true"
            weight: 100
        podAntiAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
          - labelSelector:
              matchExpressions:
              - key: k8s-app
                operator: In
                values:
                - kube-dns
            topologyKey: kubernetes.io/hostname

Penjadwalan sadar topologi

Secara default, CoreDNS menggunakan penjadwalan sadar topologi untuk menyebarkan pod ke berbagai zona. Pengaturan whenUnsatisfiable: DoNotSchedule menerapkan hal ini—pod tidak akan dijadwalkan jika kondisi keseimbangan zona tidak dapat dipenuhi.

Agar berfungsi secara andal:

• Kluster Anda harus memiliki node di minimal 2 zona berbeda, masing-masing dengan minimal 1 node yang memiliki sumber daya cukup untuk CoreDNS.

• Semua node harus memiliki label topology.kubernetes.io/zone (diterapkan secara default). Label yang hilang atau tidak konsisten dapat menyebabkan kegagalan penjadwalan atau distribusi tidak merata.

• Upgrade kluster Anda ke v1.27 atau lebih baru dan CoreDNS ke v1.12.1.3 atau lebih baru untuk mendapatkan perbaikan matchLabelKeys yang dijelaskan di bawah.

Versi CoreDNS sebelum v1.12.1.3 menggunakan kendala penyebaran topologi berikut:

topologySpreadConstraints:
- labelSelector:
    matchLabels:
      k8s-app: kube-dns
  maxSkew: 1
  topologyKey: topology.kubernetes.io/zone
  whenUnsatisfiable: DoNotSchedule

CoreDNS v1.12.1.3 dan lebih baru mengatasi hal ini dengan fitur matchLabelKeys yang diperkenalkan di Kubernetes v1.27:

topologySpreadConstraints:
- labelSelector:
    matchLabels:
      k8s-app: kube-dns
  matchLabelKeys:
  - pod-template-hash
  nodeTaintsPolicy: Honor
  maxSkew: 1
  topologyKey: topology.kubernetes.io/zone
  whenUnsatisfiable: DoNotSchedule

Menambahkan matchLabelKeys: [pod-template-hash] membatasi kendala penyebaran hanya pada pod dari Set Replika saat ini, sehingga pembaruan rolling menghasilkan distribusi merata di semua zona.