Container Service for Kubernetes:非マネージド CoreDNS の安定性と高パフォーマンスのためのデプロイメントの推奨事項

apiVersion: apps/v1
kind: Deployment
metadata:
  name: dns-autoscaler
  namespace: kube-system
  labels:
    k8s-app: dns-autoscaler
spec:
  selector:
    matchLabels:
      k8s-app: dns-autoscaler
  template:
    metadata:
      labels:
        k8s-app: dns-autoscaler
    spec:
      serviceAccountName: admin
      containers:
      - name: autoscaler
        image: registry.cn-hangzhou.aliyuncs.com/acs/cluster-proportional-autoscaler:1.8.4
        resources:
          requests:
            cpu: "200m"
            memory: "150Mi"
        command:
        - /cluster-proportional-autoscaler
        - --namespace=kube-system
        - --configmap=dns-autoscaler
        - --nodelabels=type!=virtual-kubelet
        - --target=Deployment/coredns
        - --default-params={"linear":{"coresPerReplica":64,"nodesPerReplica":8,"min":2,"max":100,"preventSinglePointFailure":true}}
        - --logtostderr=true
        - --v=9

      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              # 仮想ノードにはこのラベルがあります
              - key: type
                operator: NotIn
                values:
                - virtual-kubelet
              # lingjun ワーカーノードにはこのラベルがあります
              - key: alibabacloud.com/lingjun-worker
                operator: NotIn
                values:
                - "true" 
          preferredDuringSchedulingIgnoredDuringExecution:
          - preference:
              matchExpressions:
              # 自動スケーリングされたノードにはこのラベルがあります
              - key: k8s.aliyun.com
                operator: NotIn
                values:
                - "true"
            weight: 100
        podAntiAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
          - labelSelector:
              matchExpressions:
              - key: k8s-app
                operator: In
                values:
                - kube-dns
            topologyKey: kubernetes.io/hostname

• v1.12.1.3 より前の CoreDNS バージョンでは、トポロジー対応スケジューリングポリシーは次のとおりです。

  topologySpreadConstraints:
  - labelSelector:
      matchLabels:
        k8s-app: kube-dns
    maxSkew: 1
    topologyKey: topology.kubernetes.io/zone
    whenUnsatisfiable: DoNotSchedule

  異なるゾーン間の Pod 数の差は、デフォルトで 1 である maxSkew を超えません。

  重要

  CoreDNS のローリングアップデート中、トポロジースプレッド制約 (topologySpreadConstraints) の動作により、Pod の分散が不均一になることがあります。

  根本的な原因は、labelSelector が新しい ReplicaSet と古い ReplicaSet の両方の Pod をカウントすることです。maxSkew=1 を満たすために、スケジューラは、合計 Pod 数 (新旧の合計) が最も少ないゾーンに新しい Pod を優先的にスケジューリングします。ローリングアップデートが完了し、古い Pod が破棄されると、新しい Pod は一部のゾーンにのみ集中する可能性があります。これにより、最終的な分散が不均一になり、利用可能なすべてのゾーンをカバーしない場合があります。

• この問題に対処するため、Kubernetes v1.27 以降では、トポロジー制約の構成を最適化するための matchLabelKeys 機能が提供されています。したがって、CoreDNS v1.12.1.3 以降では、トポロジー対応スケジューリングポリシーは次のように調整されます。

  topologySpreadConstraints:
  - labelSelector:
      matchLabels:
        k8s-app: kube-dns
    matchLabelKeys:
    - pod-template-hash
    nodeTaintsPolicy: Honor
    maxSkew: 1
    topologyKey: topology.kubernetes.io/zone
    whenUnsatisfiable: DoNotSchedule