Container Service for Kubernetes:安定した高性能なアンマネージド CoreDNS のデプロイ

コンポーネントの圧力を評価する

レプリカ数を調整する前に、ご利用のクラスターの DNS 負荷を評価してください。DNSPerf などのツールは、全体的な DNS 負荷を測定できます。

DNS 負荷を直接測定できない場合は、次のガイドラインを使用してください。

• 少なくとも 2 つの CoreDNS Pod を実行し、それぞれに少なくとも 1 CPU コアと 1 GB のメモリのリソース制限を設定します。

• NodeLocal DNSCache を有効にすると、各 CPU コアは 10,000 秒間クエリ数 (QPS) を超える処理を行います。Pod ごとのピーク CPU 使用率を監視してください。ピーク時にいずれかの Pod が継続的に 1 CPU コアを超える使用量を示す場合は、スケールアウトしてください。

• 負荷データがない場合は、控えめなベースラインとして、クラスターノード 8 台あたり 1 CoreDNS Pod から開始してください。

ターゲットとするレプリカ数がわかったら、自動調整 (推奨) を使用するか、手動でスケーリングしてください。

自動調整の構成 (推奨)

cluster-proportional-autoscaler コンポーネントは、クラスターサイズに基づいて CoreDNS レプリカ数をリアルタイムで調整します。HPA とは異なり、CoreDNS の CPU メトリックに依存せず、DNS を中断させる可能性のあるスケールイン操作を実行しません。デフォルトでは、クラスターノード 8 台あたり 1 Pod をターゲットとします。

レプリカ数式は次のとおりです。replicas = max(ceil(cores × 1/coresPerReplica), ceil(nodes × 1/nodesPerReplica))。min および max パラメーターは、Pod 数を 2 から 100 の間に保ちます。

次のマニフェストを使用してオートスケーラーをデプロイします。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: dns-autoscaler
  namespace: kube-system
  labels:
    k8s-app: dns-autoscaler
spec:
  selector:
    matchLabels:
      k8s-app: dns-autoscaler
  template:
    metadata:
      labels:
        k8s-app: dns-autoscaler
    spec:
      serviceAccountName: admin
      containers:
      - name: autoscaler
        image: registry.cn-hangzhou.aliyuncs.com/acs/cluster-proportional-autoscaler:1.8.4
        resources:
          requests:
            cpu: "200m"
            memory: "150Mi"
        command:
        - /cluster-proportional-autoscaler
        - --namespace=kube-system
        - --configmap=dns-autoscaler
        - --nodelabels=type!=virtual-kubelet
        - --target=Deployment/coredns
        - --default-params={"linear":{"coresPerReplica":64,"nodesPerReplica":8,"min":2,"max":100,"preventSinglePointFailure":true}}
        - --logtostderr=true
        - --v=9

手動スケーリング

特定のレプリカ数を直接設定するには、次のようにします。

kubectl scale --replicas=<target> deployment/coredns -n kube-system # <target> をターゲットとする Pod 数に置き換えます。

専用ノードプールの作成

ノードプールを作成する際は、次のガイドラインに従ってください。

• CoreDNS はネットワーク集約型ですが、コンピューティング集約型ではありません。少なくとも 4 CPU コアと 8 GB のメモリを持つネットワーク拡張型インスタンスを使用してください。

• CoreDNS はデフォルトで 2 つの Pod を実行するため、ノードプールには少なくとも 2 つのノードが必要です。

• 他の Pod がこれらのノードにスケジューリングされるのを防ぐために、Taint とラベルを追加してください。たとえば、Taint のキーと値のペアおよびラベルの両方として system-addon: system-addon を使用します。Taint の Effect を NoSchedule に設定してください。

詳細な手順については、「ノードプールの作成および管理」をご参照ください。

CoreDNS Pod のノードプールへのスケジューリング

1. 「アドオン」ページで、「CoreDNS」カードを見つけ、「設定」をクリックします。

2. [NodeSelector] セクションで、専用ノードプールの label を追加します。

   既存の NodeSelector ラベルを削除しないでください。

   

3. [Tolerations] セクションで、ノードプールの Taint に一致する Toleration を追加します。

   

4. [OK] をクリックします。その後、次のコマンドを実行して、CoreDNS Pod が専用のノードプール上で実行中であることを確認します:

   kubectl -n kube-system get pod -o wide --show-labels | grep coredns

Pod アンチアフィニティ

CoreDNS は、2 つの CoreDNS Pod が同じノードを共有しないように、requiredDuringSchedulingIgnoredDuringExecution Pod アンチアフィニティルールを使用します。これが機能するには、ご利用のクラスターに、次のものを除く、十分なリソースリクエストが利用可能な少なくとも 2 つのノードが必要です。

• k8s.aliyun.com: true — ノードの自動スケーリングが有効なノード

• type: virtual-kubelet — 仮想ノード

• alibabacloud.com/lingjun-worker: true — Lingjun ノード

デフォルトのアフィニティ構成は次のとおりです。

      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              # virtual nodes have this label
              - key: type
                operator: NotIn
                values:
                - virtual-kubelet
              # lingjun worker nodes have this label
              - key: alibabacloud.com/lingjun-worker
                operator: NotIn
                values:
                - "true"
          preferredDuringSchedulingIgnoredDuringExecution:
          - preference:
              matchExpressions:
              # autoscaled nodes have this label
              - key: k8s.aliyun.com
                operator: NotIn
                values:
                - "true"
            weight: 100
        podAntiAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
          - labelSelector:
              matchExpressions:
              - key: k8s-app
                operator: In
                values:
                - kube-dns
            topologyKey: kubernetes.io/hostname

トポロジーアウェアスケジューリング

デフォルトでは、CoreDNS はトポロジーアウェアスケジューリングを使用して、Pod をゾーン全体に分散します。whenUnsatisfiable: DoNotSchedule 設定はこれを強制します。ゾーンバランス条件が満たされない場合、Pod はスケジューリングされません。

これが確実に機能するには、次の条件を満たす必要があります。

• ご利用のクラスターには、少なくとも 2 つの異なるゾーンにノードがあり、各ゾーンに CoreDNS に十分なリソースを持つノードが少なくとも 1 つあること。

• すべてのノードに topology.kubernetes.io/zone ラベル (デフォルトで適用) があること。ラベルの欠落または不整合は、スケジューリングの失敗や不均一な分散を引き起こす可能性があります。

• ご利用のクラスターを v1.27 以降に、CoreDNS を v1.12.1.3 以降にアップグレードして、以下で説明する matchLabelKeys の修正を取得すること。

CoreDNS v1.12.1.3 以前のバージョンでは、このトポロジースプレッド制約を使用します。

topologySpreadConstraints:
- labelSelector:
    matchLabels:
      k8s-app: kube-dns
  maxSkew: 1
  topologyKey: topology.kubernetes.io/zone
  whenUnsatisfiable: DoNotSchedule

CoreDNS v1.12.1.3 以降では、Kubernetes v1.27 で導入された matchLabelKeys 機能でこれを解決します。

topologySpreadConstraints:
- labelSelector:
    matchLabels:
      k8s-app: kube-dns
  matchLabelKeys:
  - pod-template-hash
  nodeTaintsPolicy: Honor
  maxSkew: 1
  topologyKey: topology.kubernetes.io/zone
  whenUnsatisfiable: DoNotSchedule

matchLabelKeys: [pod-template-hash] を追加すると、スプレッド制約の範囲が現在の ReplicaSet の Pod のみに限定されるため、ローリングアップデートはすべてのゾーンで均一な分散を生成します。