Container Service for Kubernetes：Implementasi penjadwalan kolokasi untuk Slurm dan Kubernetes di cluster ACK

Mengapa kita perlu mengimplementasikan penjadwalan kolokasi di cluster ACK?

• Solusi penjadwalan default: ACK secara statis mengalokasikan sumber daya. ACK dan Slurm menjadwalkan beban kerja secara terpisah. Di cluster Slurm, setiap pod Slurm memprakonsumsi sumber daya cluster. Kubernetes tidak dapat menggunakan sumber daya idle yang telah diprakonsumsi oleh pod Slurm. Hal ini menghasilkan fragmen sumber daya cluster. Jika Anda ingin memodifikasi konfigurasi sumber daya dari sebuah pod Slurm, Anda harus menghapus dan membuat ulang pod tersebut. Oleh karena itu, dalam skenario di mana ada kesenjangan besar antara sumber daya yang digunakan oleh cluster Slurm dan sumber daya yang digunakan oleh cluster Kubernetes, sulit untuk memigrasikan beban kerja ke node lain.

• Solusi penjadwalan kolokasi: ACK menyediakan komponen ack-slurm-operator untuk mengimplementasikan penjadwalan kolokasi untuk Slurm dan Kubernetes di cluster ACK. Solusi ini menjalankan copilot di cluster Kubernetes dan plugin sumber daya ekstensi di cluster Slurm. Ini memungkinkan Kubernetes dan Slurm berbagi sumber daya cluster serta menghindari pengalokasian sumber daya berulang kali.

Gambar berikut menunjukkan solusi berbagi sumber daya sebelumnya.

Gambar berikut menunjukkan cara kerja solusi penjadwalan kolokasi.

1.1 Instal ack-slurm-operator

Sebuah cluster ACK yang menjalankan Kubernetes 1.26 atau lebih baru telah dibuat. Untuk informasi lebih lanjut, lihat Buat Cluster ACK dengan Node GPU-accelerated dan Perbarui Cluster.

1.2 Instal dan konfigurasikan ack-slurm-cluster

Untuk menerapkan dan mengelola cluster Slurm dengan cepat serta memodifikasi konfigurasi cluster secara fleksibel, Anda dapat menggunakan Helm untuk menginstal paket SlurmClusterart yang disediakan oleh Alibaba Cloud. Unduh Helm chart untuk cluster Slurm dari charts-incubator dan atur parameter yang relevan. Lalu, Helm akan membuat sumber daya kontrol akses berbasis peran (RBAC), ConfigMaps, Secrets, dan cluster Slurm untuk Anda.

nodeSelector:
  example: example

tolerations:
- key:
  value:
  operator:

affinity:
  nodeAffinity:
    requiredDuringSchedulingIgnoredDuringExecution:
      nodeSelectorTerms:
      - matchExpressions:
        - key: topology.kubernetes.io/zone
          operator: In
          values:
          - zone-a
    preferredDuringSchedulingIgnoredDuringExecution:
    - weight: 1
      preference:
        matchExpressions:
        - key: another-node-label-key
          operator: In
          values:
          - another-node-label-value

resources:
  requests:
    cpu: 1
  limits:
    cpu: 1

imagePullSecrets:
- name: example

podSecurityContext:
  runAsUser: 1000
  runAsGroup: 3000
  fsGroup: 2000
  supplementalGroups: [4000]

securityContext:
  allowPrivilegeEscalation: false

Lakukan operasi berikut:

1. Jalankan perintah berikut untuk menambahkan repositori chart yang disediakan oleh Alibaba Cloud ke klien Helm Anda: Setelah repositori ditambahkan, Anda dapat mengakses Helm chart yang disediakan oleh Alibaba Cloud, seperti chart komponen ack-slurm-cluster.

   helm repo add aliyun https://aliacs-app-catalog.oss-cn-hangzhou.aliyuncs.com/charts-incubator/

2. Jalankan perintah berikut untuk menarik dan mendekompres chart ack-slurm-cluster. Operasi ini membuat subdirektori bernama ack-slurm-cluster di direktori saat ini. Direktori ack-slurm-cluster berisi semua file dan template yang termasuk dalam chart.

   helm pull aliyun/ack-slurm-cluster --untar=true

3. Jalankan perintah berikut untuk memodifikasi parameter chart di file values.yaml.

   File values.yaml berisi konfigurasi default dari chart. Anda dapat memodifikasi pengaturan parameter di file berdasarkan kebutuhan bisnis Anda. Pengaturan tersebut mencakup konfigurasi Slurm, permintaan sumber daya dan batasnya, serta konfigurasi penyimpanan.

   cd ack-slurm-cluster
   vi values.yaml

   Tampilkan Langkah-langkah untuk Menghasilkan JSON Web Token (JWT) dan Mengirimkan JWT ke Cluster

   Hasilkan kunci untuk plugin autentikasi JWT dan jalankan perintah untuk mengimpor kunci ke cluster. Untuk informasi lebih lanjut, lihat Plugin Autentikasi JWT.

   1. Dapatkan JSON Web Key (JWK) untuk menandatangani dan mengautentikasi JWT.

      Plugin autentikasi JWT menggunakan JWK (RFC7517) untuk menandatangani dan mengautentikasi JWT. Untuk mengonfigurasi plugin autentikasi JWT, Anda harus terlebih dahulu menghasilkan JWK yang valid. Anda dapat menghasilkan JWK secara manual atau menggunakan generator JWK online, seperti mkjwk.org, untuk menghasilkan JWK. Contoh kode berikut menunjukkan konten JWK. Kunci privat digunakan untuk menandatangani JWT. Kunci publik di plugin autentikasi JWT digunakan untuk mengautentikasi JWT. Contoh konten JWK:

      {
        "kty": "RSA",
        "e": "AQAB",
        "kid": "O9fpdhrViq2zaaaBEWZITz",
        "use": "sig",
        "alg": "RS256",
        "n": "qSVxcknOm0uCq5vGsOmaorPDzHUubBmZZ4UXj-9do7w9X1uKFXAnqfto4TepSNuYU2bA_-tzSLAGBsR-BqvT6w9SjxakeiyQpVmexxnDw5WZwpWenUAcYrfSPEoNU-0hAQwFYgqZwJQMN8ptxkd0170PFauwACOx4Hfr-9FPGy8NCoIO4MfLXzJ3mJ7xqgIZp3NIOGXz-GIAbCf13ii7kSStpYqN3L_zzpvXUAos1FJ9IPXRV84tIZpFVh2lmRh0h8ImK-vI42dwlD_hOIzayL1Xno2R0T-d5AwTSdnep7g-Fwu8-sj4cCRWq3bd61Zs2QOJ8iustH0vSRMYdP5oYQ"
      }        

      JWK sebelumnya dalam format JSON. Jika Anda ingin mengonfigurasi plugin autentikasi JWT dalam format YAML, Anda harus menggunakan JWK dalam format YAML.*

      • Untuk plugin autentikasi JWT, Anda hanya perlu mengonfigurasi kunci publik. Simpan kredensial kunci privat Anda. Tabel berikut menjelaskan algoritme penandatanganan yang didukung oleh plugin autentikasi JWT.

      Algoritme tanda tangan	Pengaturan alg yang didukung
      RSASSA-PKCS1-V1_5 dengan SHA-2	RS256, RS384, RS512
      Kurva Eliptik (ECDSA) dengan SHA-2	ES256, ES384, ES512
      HMAC menggunakan SHA-2	HS256, HS384, HS512

      Penting

      Saat mengonfigurasi kunci jenis HS256, HS384, atau HS512, nilai kunci dikodekan dalam Base64URL. Jika tanda tangannya tidak valid, periksa apakah kunci Anda memiliki format yang sama dengan kunci yang digunakan untuk menghasilkan token.

   2. Impor JWK ke cluster.

      kubectl create configmap jwt --from-literal=jwt_hs256.key={{ .jwtkey }}

   Tampilkan Langkah-langkah untuk Menentukan Alamat Database dan Mengonfigurasi Sumber Daya Generik (GRE)

   Aktifkan slurmrestd dan slurmdbd. Modifikasi parameter .Values.slurmConfigs.filesInConfigMap di file values.yaml untuk menentukan alamat database dan mengonfigurasi GRE.

   slurmConfigs:
     ...
     filesInConfigMap:
       gres.conf: |
         # Konfigurasikan Copilot untuk memperbarui informasi tentang sumber daya yang dialokasikan dari Kubernetes ke Slurm.
         Name=k8scpu Flags=CountOnly
         Name=k8smemory Flags=CountOnly
       slurmdbd.conf: |
         # Jalur log. Jalur tersebut harus sama dengan jalur yang ditentukan dalam konfigurasi autentikasi berikut.
         LogFile=/var/log/slurmdbd.log
         # Saat menggunakan slurmrestd, Anda harus menentukan autentikasi JWT.
         AuthAltTypes=auth/jwt
         # slurmdbd perlu menggunakan kunci di jalur berikut untuk mengautentikasi token. Gunakan konfigurasi berikut untuk memasang kunci ke pod.
         AuthAltParameters=jwt_key=/var/jwt/jwt_hs256.key
         AuthType=auth/munge
         SlurmUser=slurm
         # Tentukan akun database MySQL.
         StoragePass=
         StorageHost=
         StorageType=accounting_storage/mysql
         StorageUser=root
         StoragePort=3306
       slurm.conf: |
         # Tentukan atribut sumber daya ekstensi berikut untuk node di cluster Slurm: k8scpu dan k8smemory. Ini mencegah node memasuki status DOWN.
         NodeFeaturesPlugins=node_features/k8s_resources
         # Aktifkan Slurm untuk secara otomatis menambahkan k8scpu dan k8smemory saat Anda menggunakan Slurm untuk mengirim pekerjaan.
         JobSubmitPlugins=k8s_resource_completion
         AccountingStorageHost=slurm-test-slurmdbd
         # Saat menggunakan slurmrestd, Anda harus menentukan autentikasi JWT.
         AuthAltTypes=auth/jwt
         # slurmctld perlu menggunakan kunci di jalur berikut untuk mengautentikasi token. Gunakan konfigurasi berikut untuk memasang kunci ke pod.
         AuthAltParameters=jwt_key=/var/jwt/jwt_hs256.key
         # Konfigurasikan Copilot untuk memperbarui informasi tentang sumber daya yang dialokasikan dari Kubernetes ke Slurm.
         GresTypes=k8scpu,k8smemory
         # Tentukan ${slurmClusterName}-slurmdbd. slurmOperator secara otomatis menerapkan slurmdbd.
         AccuntingStorageHost=
         AccountingStoragePort=6819
         AccountingStorageType=accounting_storage/slurmdbd
         # Informasi yang digunakan oleh plugin JobComp untuk mengakses database MySQL.
         JobCompHost=
         JobCompLoc=/var/log/slurm/slurm_jobcomp.log
         JobCompPass=
         JobCompPort=3306
         JobCompType=jobcomp/mysql
         JobCompUser=root
         # Konfigurasi yang memastikan ketersediaan tinggi.
         SlurmctldHost=

   Tampilkan Langkah-langkah untuk Mengonfigurasi Pod slurmrestd dan Pod slurmdbd

   Konfigurasikan pod slurmrestd dan pod slurmdbd.

   ...
   headNodeConfig:
     image: "registry-cn-hangzhou.ack.aliyuncs.com/acs/slurm:23.06-1.6-aliyun-49259f59"
     # Pasang kunci JWT yang dihasilkan ke Slurm. Jalur mount harus sama dengan jalur yang ditentukan di bagian sebelumnya.
     volumes: 
     - configMap:
         defaultMode: 444
         name: jwt
       name: config-jwt
     volumeMounts: 
     - mountPath: /var/jwt
       name: config-jwt
   slurmdbdConfigs:
     nodeSelector: {}
     tolerations: []
     affinity: {}
     resources: {}
     image: "registry-cn-hangzhou.ack.aliyuncs.com/acs/slurm:23.06-1.6-aliyun-49259f59"
     imagePullSecrets: []
     # jika .slurmConfigs.createConfigsByConfigMap adalah true, slurmConfPath dan volume dan volumeMounts akan diatur secara otomatis sebagai:
     #  volumeMounts:
     #    - name: config-{{ .Values.slurmConfigs.configMapName }}
     #      mountPath: {{ .Values.slurmConfigs.slurmConfigPathInPod }}
     # volumes:
     #   - name: config-{{ .Values.slurmConfigs.configMapName }}
     #     configMap:
     #       name: {{ .Values.slurmConfigs.configMapName }}
     # juga untuk mungeConfigs.createConfigsBySecret
     # Pasang kunci JWT yang dihasilkan ke Slurm. Jalur mount harus sama dengan jalur yang ditentukan di bagian sebelumnya.
   
     volumes: 
     - configMap:
         defaultMode: 444
         name: jwt
       name: config-jwt
     volumeMounts: 
     - mountPath: /var/jwt
       name: config-jwt
   
   slurmrestdConfigs:
     nodeSelector: {}
     tolerations: []
     affinity: {}
     resources: {}
     image: "registry-cn-hangzhou.ack.aliyuncs.com/acs/slurm:23.06-1.6-aliyun-49259f59"
     imagePullSecrets: []
     # jika .slurmConfigs.createConfigsByConfigMap adalah true, slurmConfPath dan volume dan volumeMounts akan diatur secara otomatis sebagai:
     #  volumeMounts:
     #    - name: config-{{ .Values.slurmConfigs.configMapName }}
     #      mountPath: {{ .Values.slurmConfigs.slurmConfigPathInPod }}
     # volumes:
     #   - name: config-{{ .Values.slurmConfigs.configMapName }}
     #     configMap:
     #       name: {{ .Values.slurmConfigs.configMapName }}
     # juga untuk mungeConfigs.createConfigsBySecret
     # Pasang kunci JWT yang dihasilkan ke Slurm. Jalur mount harus sama dengan jalur yang ditentukan di bagian sebelumnya.
     volumes: 
     - configMap:
         defaultMode: 444
         name: jwt
       name: config-jwt
     volumeMounts: 
     - mountPath: /var/jwt
       name: config-jwt

4. Jalankan perintah berikut untuk menginstal chart ack-slurm-cluster. Jika chart ack-slurm-cluster sudah diinstal, Anda dapat menjalankan perintah helm upgrade untuk memperbarui chart yang telah diinstal. Setelah Anda memperbarui chart yang telah diinstal, Anda harus secara manual menghapus pod yang ada dan StatefulSet yang dibuat untuk slurmctld agar pembaruan berlaku.

   cd ..
   helm install my-slurm-cluster ack-slurm-cluster # Ganti my-slurm-cluster dengan nilai aktual.

5. Setelah menginstal chart, jalankan perintah helm list untuk memeriksa apakah chart ack-slurm-cluster berhasil diinstal.

   helm list

   Keluaran yang diharapkan:

   NAME                    NAMESPACE       REVISION        UPDATED                                 STATUS          CHART                   APP VERSION
   ack-slurm-cluster       default         1               2024-07-19 14:47:58.126357 +0800 CST    deployed        ack-slurm-cluster-2.0.0 2.0.0      

6. Periksa apakah slurmrestd dan slurmdbd berjalan sesuai harapan.

   1. Gunakan kubectl untuk terhubung ke cluster dan periksa apakah pod slurmdbd berjalan sesuai harapan.

      kubectl get pod

      Keluaran sampel berikut menunjukkan bahwa satu pod pekerja dan tiga pod kontrol plane berjalan di cluster.

      NAME                          READY   STATUS    RESTARTS   AGE
      slurm-test-slurmctld-dlncz    1/1     Running   0          3h49m
      slurm-test-slurmdbd-8f75r     1/1     Running   0          3h49m
      slurm-test-slurmrestd-mjdzt   1/1     Running   0          3h49m
      slurm-test-worker-cpu-0       1/1     Running   0          166m

   2. Jalankan perintah berikut untuk menanyakan log. Anda dapat melihat log untuk memeriksa apakah slurmdbd berjalan sesuai harapan.

      kubectl exec slurm-test-slurmdbd-8f75r cat /var/log/slurmdbd.log | head

      Keluaran yang diharapkan:

      kubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.
      [2024-07-22T19:52:55.727] accounting_storage/as_mysql: _check_mysql_concat_is_sane: Versi server MySQL adalah: 8.0.34
      [2024-07-22T19:52:55.737] error: Pengaturan database bukan nilai yang direkomendasikan: innodb_lock_wait_timeout
      [2024-07-22T19:52:56.089] slurmdbd versi 23.02.7 dimulai

2.1 Uji penjadwalan kolokasi

1. Periksa status GenericNodes untuk melihat beban kerja Slurm dan beban kerja Kubernetes.

   kubectl get genericnode

   Keluaran yang diharapkan:

   NAME                    CLUSTERNAME   ALIAS                     TYPE    ALLOCATEDRESOURCES
   cn-hongkong.10.1.0.19                 slurm-test-worker-cpu-0   Slurm   [{"allocated":{"cpu":"0","memory":"0"},"type":"Slurm"},{"allocated":{"cpu":"1735m","memory":"2393Mi"},"type":"Kubernetes"}]

2. Jalankan perintah berikut untuk mengirim pekerjaan ke cluster Slurm dan menanyakan GenericNodes. GenericNode yang dikembalikan mencatat penggunaan sumber daya dari pekerjaan di cluster Slurm dan penggunaan sumber daya dari pekerjaan di cluster Kubernetes.

   root@iZj6c1wf3c25dbynbna3qgZ ~]# kubectl exec slurm-test-slurmctld-dlncz -- nohup srun --cpus-per-task=3 --mem=4000 --gres=k8scpu:3,k8smemory:4000 sleep inf &
   [1] 4132674
   
   [root@iZj6c1wf3c25dbynbna3qgZ ~]# kubectl scale deployment nginx-deployment-basic --replicas 2
   deployment.apps/nginx-deployment-basic scaled
   
   [root@iZj6c1wf3c25dbynbna3qgZ ~]# kubectl get genericnode
   NAME                    CLUSTERNAME   ALIAS                     TYPE    ALLOCATEDRESOURCES
   cn-hongkong.10.1.0.19                 slurm-test-worker-cpu-0   Slurm   [{"allocated":{"cpu":"3","memory":"4000Mi"},"type":"Slurm"},{"allocated":{"cpu":"2735m","memory":"3417Mi"},"type":"Kubernetes"}]

3. Dalam kasus ini, jika Anda mengirim pekerjaan lain ke cluster Slurm, pekerjaan kedua akan memasuki status Pending.

   [root@iZj6c1wf3c25dbynbna3qgZ ~]# kubectl exec slurm-test-slurmctld-dlncz -- nohup srun --cpus-per-task=3 --mem=4000 sleep inf &
   [2] 4133454
   
   [root@iZj6c1wf3c25dbynbna3qgZ ~]# srun: job 2 queued and waiting for resources
   
   [root@iZj6c1wf3c25dbynbna3qgZ ~]# kubectl exec slurm-test-slurmctld-dlncz -- squeue
    JOBID PARTITION     NAME     USER ST       TIME  NODES NODELIST(REASON)
        2     debug    sleep     root PD       0:00      1 (Resources)
        1     debug    sleep     root  R       2:34      1 slurm-test-worker-cpu-0

Dalam contoh ini, tidak ada GRE yang ditentukan secara manual. Namun, GRE masih ditampilkan dalam perintah srun sebelumnya. Hal ini karena cluster Slurm telah diinstal sebelumnya dengan plugin job_resource_completion, yang secara otomatis menambahkan GRE berdasarkan permintaan CPU dan permintaan memori. Jika job_resource_completion tidak diinstal, Anda harus secara manual menentukan GRE. Dalam contoh ini, konfigurasi GRE berikut ditentukan: --gres=k8scpu:3,k8smemory:4000. Klik Tampilkan Deskripsi Skrip Pekerjaan Slurm untuk melihat cara menentukan parameter dalam skrip pekerjaan Slurm.

#!/bin/bash
#SBATCH --job-name=test_job                   # Nama pekerjaan.
#SBATCH --nodes=2                             # Jumlah node yang diperlukan oleh pekerjaan.
#SBATCH --ntasks-per-node=4                   # Jumlah tugas yang dijalankan di setiap node.
#SBATCH --cpus-per-task=2                     # Jumlah vCPU yang diperlukan oleh setiap tugas.
#SBATCH --time=01:00:00                       # Durasi maksimum pekerjaan.
#SBATCH --output=job_output_%j.txt            # Nama file stdout.
#SBATCH --error=job_error_%j.txt              # Nama file stderr.

# Perintah pekerjaan yang ditentukan pengguna.
srun my_program

sbatch --nodes=2 --ntasks-per-node=4 --cpus-per-task=2 --time=01:00:00 --job-name=test_job my_job_script.sh

Opsional: 2.2 Implementasikan penjadwalan kolokasi di cluster Slurm non-kontainer