Container Service for Kubernetes:Menggunakan penjadwalan sadar topologi jaringan di kluster ACK Lingjun

Langkah 1: Definisikan topologi kluster

Buat cluster-network-topology.yaml untuk mendeklarasikan struktur topologi dua tingkat untuk kluster:

apiVersion: scheduling.koordinator.sh/v1alpha1
kind: ClusterNetworkTopology
metadata:
  # Jangan ubah.
  name: default
spec:
  networkTopologySpec:
  # parentTopologyLayer mendeklarasikan struktur topologi tingkat atas.
  - parentTopologyLayer: ASWTopologyLayer
  # Tingkat terendah harus berupa NodeTopologyLayer untuk node Lingjun.
    topologyLayer: NodeTopologyLayer
  # Berikut ini mendefinisikan pemetaan topologi lintas lapisan. Biasanya, tidak perlu dimodifikasi.
  - labelKey:
    - alibabacloud.com/point-of-delivery
    topologyLayer: PoDTopologyLayer
  - labelKey:
    - alibabacloud.com/asw-id
    parentTopologyLayer: PoDTopologyLayer
    topologyLayer: ASWTopologyLayer

Langkah 2: Deklarasikan batasan topologi pekerjaan

Buat sample-network-topology.yaml untuk menentukan strategi penjadwalan pada setiap tingkat topologi:

apiVersion: scheduling.koordinator.sh/v1alpha1
kind: JobNetworkTopology
metadata:
  labels:
    network-topology-permit-wait-time: "999999"
  # Nama pekerjaan.
  name: sample-network-topology
  # Namespace tempat pekerjaan berada.
  namespace: sample-network-topology
spec:
  topologyStrategy:
  # PreferGather: mengizinkan penjadwalan lintas-ASW jika sumber daya tidak mencukupi.
  - layer: ASWTopologyLayer
    strategy: PreferGather
  - layer: NodeTopologyLayer
    strategy: PreferGather
  # MustGather: penjadwalan lintas-Pod tidak diizinkan.
  - layer: PoDTopologyLayer
    strategy: MustGather
  # Harus sesuai dengan spec.parallelism dan pod-group.scheduling.sigs.k8s.io/min-available dalam manifes Pekerjaan.
  workerNum: 2

Langkah 3: Buat pekerjaan

Buat pi.yaml untuk mendefinisikan pekerjaan dan mereferensikan batasan topologi:

apiVersion: batch/v1
kind: Job
metadata:
  name: pi
spec:
  # Harus sesuai dengan workerNum dalam JobNetworkTopology.
  parallelism: 2
  template:
    metadata:
      labels:
        # Harus sesuai dengan workerNum dalam JobNetworkTopology.
        pod-group.scheduling.sigs.k8s.io/min-available: "2"
        pod-group.scheduling.sigs.k8s.io/name: sample-gang
        # Referensikan JobNetworkTopology yang dibuat pada Langkah 2.
        network-topology-job-name: sample-network-topology
        network-topology-job-namespace: sample-network-topology
    spec:
      schedulerName: default-scheduler
      containers:
      - name: pi
        image: perl:5.34.0
        command: ["perl",  "-Mbignum=bpi", "-wle", "print bpi(2000)"]
        resources:
          limits:
            # Contoh ini menggunakan satu GPU. Sesuaikan sesuai kebutuhan.
            nvidia.com/gpu: 1
      restartPolicy: Never
  backoffLimit: 4

Langkah 4: Deploy konfigurasi

Terapkan ketiga file ke kluster:

kubectl apply -f cluster-network-topology.yaml
kubectl apply -f sample-network-topology.yaml
kubectl apply -f pi.yaml

Periksa topologi kluster

Ambil label topologi pada node Anda untuk mengonfirmasi struktur topologi:

# Topologi jaringan:
#              test-pod-1                     test-pod-2
#        /          |           \                   |
#    test-1      test-2      test-3               test-4
#     /   \         |           |                   |
#   0.12  0.14     0.15        0.16                0.17

kubectl get no -l alibabacloud.com/asw-id,alibabacloud.com/point-of-delivery -ojson | jq '.items[] | {"Name":.metadata.name, "ASW":.metadata.labels."alibabacloud.com/asw-id", "POD":.metadata.labels."alibabacloud.com/point-of-delivery"}'

Output yang diharapkan:

{
  "Name": "cn-hongkong.10.1.0.12",
  "ASW": "test-1",
  "POD": "test-pod-1"
}
{
  "Name": "cn-hongkong.10.1.0.14",
  "ASW": "test-1",
  "POD": "test-pod-1"
}
{
  "Name": "cn-hongkong.10.1.0.15",
  "ASW": "test-2",
  "POD": "test-pod-1"
}
{
  "Name": "cn-hongkong.10.1.0.16",
  "ASW": "test-3",
  "POD": "test-pod-1"
}
{
  "Name": "cn-hongkong.10.1.0.17",
  "ASW": "test-4",
  "POD": "test-pod-2"
}

Skenario 1: Pekerjaan 2-Pod

Dengan workerNum: 2, kedua Pod dijadwalkan ke node dalam ASW yang sama (test-1):

kubectl get pod -owide

NAME       READY   STATUS              RESTARTS   AGE   IP               NODE                    NOMINATED NODE   READINESS GATES
pi-8p89l   1/1     Running             0          4s    172.30.240.197   cn-hongkong.10.1.0.14   <none>           <none>
pi-p8swv   0/1     ContainerCreating   0          4s    <none>           cn-hongkong.10.1.0.12   <none>           <none>

Kedua Pod ditempatkan di test-1 (ASW), berbagi jalur jaringan dengan jumlah lompatan terendah.

Skenario 2: Pekerjaan 4-Pod

Perbarui parallelism dan pod-group.scheduling.sigs.k8s.io/min-available dalam pi.yaml, serta workerNum dalam sample-network-topology.yaml menjadi 4. Terapkan ulang kedua file tersebut.

Penjadwal menetapkan keempat Pod dalam test-pod-1, karena MustGather pada PoDTopologyLayer mencegah penjadwalan lintas-Pod. Node di bawah test-pod-2 tetap tidak dijadwalkan:

NAME       READY   STATUS              RESTARTS   AGE   IP               NODE                    NOMINATED NODE   READINESS GATES
pi-2kwq9   1/1     Running             0          4s    172.30.241.123   cn-hongkong.10.1.0.12   <none>           <none>
pi-87hm5   0/1     ContainerCreating   0          4s    <none>           cn-hongkong.10.1.0.16   <none>           <none>
pi-bsvx8   1/1     Running             0          4s    172.30.240.198   cn-hongkong.10.1.0.14   <none>           <none>
pi-dvwhl   0/1     ContainerCreating   0          4s    <none>           cn-hongkong.10.1.0.15   <none>           <none>

Skenario 3: Pekerjaan 5-Pod (kegagalan penjadwalan)

Perbarui parameter yang sama menjadi 5. Pekerjaan gagal karena test-pod-1 hanya memiliki 4 slot tersedia dan MustGather pada PoDTopologyLayer melarang penggunaan satu-satunya node di test-pod-2.

Semua Pod tetap dalam status Pending:

NAME       READY   STATUS    RESTARTS   AGE
pi-75qf5   0/1     Pending   0          2s
pi-8k4nd   0/1     Pending   0          2s
pi-b2pmc   0/1     Pending   0          2s
pi-n7c2b   0/1     Pending   0          2s
pi-wf4zn   0/1     Pending   0          2s

Periksa pesan kegagalan penjadwalan:

kubectl get pod -ojson | jq '.items[].status'

Pesan kegagalan penjadwalan berisi:

0/6 nodes are available: 1 Insufficient nvidia.com/gpu, 1 [NetworkTopology begin] cluster total nodes:6, 5 node provide 5 freeSlot, 1 node unavailable cause Insufficient nvidia.com/gpu, job desireNum:5, all fail topology paths by MustGather reason: [path:RootNode->test-pod-1, freeSlotNum:4], [path:RootNode->DefaultTopologyName, freeSlotNum:0], [path:RootNode->test-pod-2, freeSlotNum:1] [NetworkTopology end], 4 NetworkTopology bestPlan empty. network topology job sample-network-topology/sample-network-topology gets rejected due to pod is unschedulable...

Bidang utama dalam pesan tersebut:

Untuk mengatasi hal ini, kurangi workerNum agar muat dalam satu Pod, atau ubah strategi PoDTopologyLayer dari MustGather menjadi PreferGather untuk mengizinkan penjadwalan lintas-Pod.