Container Service for Kubernetes:ACKクラスターでSlurmとKubernetesの同時配置スケジューリングを実装する

ACKクラスターにコロケートスケジューリングを実装する必要があるのはなぜですか?

• デフォルトのスケジューリングソリューション: ACKはリソースを静的に割り当てます。 ACKとSlurmは、ワークロードを個別にスケジュールします。 Slurmクラスターでは、各Slurmポッドはクラスターリソースを事前に占有します。 Kubernetesは、Slurmポッドによって事前に占有されているアイドルリソースを使用できません。 これは、クラスタリソース断片をもたらす。 Slurmポッドのリソース構成を変更する場合は、ポッドを削除してから再作成する必要があります。 したがって、Slurmクラスターが占有するリソースとKubernetesクラスターが占有するリソースの間に大きなギャップがあるシナリオでは、ワークロードを他のノードに移行することは困難です。

• コロケートされたスケジューリングソリューション: ACKは、ackクラスター内のslurmとKubernetesのコロケートされたスケジューリングを実装するためのACK-Slurm-operatorコンポーネントを提供します。 このソリューションは、Kubernetesクラスターで副操縦士を実行し、Slurmクラスターで拡張リソースプラグインを実行します。 これにより、KubernetesとSlurmはクラスターリソースを共有でき、リソースの繰り返し割り当てを回避できます。

次の図は、前述のリソース共有ソリューションを示しています。

次の図は、共同配置スケジューリングソリューションの動作を示しています。

1.1 ack-slurm-operatorのインストール

Kubernetes 1.26以降を実行するACKクラスターが作成されます。 詳細については、「GPU高速化ノードを使用したACKクラスターの作成」および「クラスターの更新」をご参照ください。

1.2 ack-slurm-clusterのインストールと構成

Slurmクラスターを迅速にデプロイおよび管理し、クラスターの設定を柔軟に変更するために、Helmを使用してAlibaba Cloudが提供するSlurmClusterartパッケージをインストールできます。 チャートインキュベーターからSlurmクラスターのHelmチャートをダウンロードし、関連するパラメーターを設定します。 次に、Helmはロールベースのアクセス制御 (RBAC) リソース、ConfigMaps、Secrets、およびSlurmクラスターを作成します。

nodeSelector:
  example: example

tolerations:
- key:
  value:
  operator:

affinity:
  nodeAffinity:
    requiredDuringSchedulingIgnoredDuringExecution:
      nodeSelectorTerms:
      - matchExpressions:
        - key: topology.kubernetes.io/zone
          operator: In
          values:
          - zone-a
    preferredDuringSchedulingIgnoredDuringExecution:
    - weight: 1
      preference:
        matchExpressions:
        - key: another-node-label-key
          operator: In
          values:
          - another-node-label-value

resources:
  requests:
    cpu: 1
  limits:
    cpu: 1

imagePullSecrets:
- name: example

podSecurityContext:
  runAsUser: 1000
  runAsGroup: 3000
  fsGroup: 2000
  supplementalGroups: [4000]

securityContext:
  allowPrivilegeEscalation: false

次の操作を実行します。

1. 次のコマンドを実行して、Alibaba Cloudが提供するチャートリポジトリをHelmクライアントに追加します。リポジトリの追加後、Alibaba Cloudが提供するHelmチャート (ack-slurm-clusterコンポーネントのチャートなど) にアクセスできます。

   helm repo add aliyun https://aliacs-app-catalog.oss-cn-hangzhou.aliyuncs.com/charts-incubator/

2. 次のコマンドを実行して、ack-slurm-clusterチャートをプルして解凍します。 この操作により、現在のディレクトリにack-slurm-clusterという名前のサブディレクトリが作成されます。 ack-slurm-clusterディレクトリには、チャートに含まれるすべてのファイルとテンプレートが含まれます。

   helm pull aliyun/ack-slurm-cluster --untar=true

3. 次のコマンドを実行して、values.yamlファイルのグラフパラメーターを変更します。

   values.yamlファイルには、グラフのデフォルト設定が含まれています。 ビジネス要件に基づいて、ファイル内のパラメーター設定を変更できます。 設定には、Slurm設定、リソース要求と制限、およびストレージ設定が含まれます。

   cd ack-slurm-cluster
   vi values.yaml

   JSON Webトークン (JWT) を生成し、JWTをクラスターに送信する手順を示します

   JWT認証プラグインのキーを生成し、コマンドを実行してクラスターにキーをインポートします。 詳細については、「JWT認証プラグイン」をご参照ください。

   1. JWTに署名して認証するためのJSON Webキー (JWK) を取得します。

      JWT認証プラグインは、JWK (RFC7517) を使用して、JWTに署名し、認証する。 JWT認証プラグインを設定するには、まず有効なJWKを生成する必要があります。 手動でJWKを生成するか、mkjwk.orgなどのオンラインのJWKジェネレータを使用してJWKを生成できます。 次のサンプルコードは、JWKの内容を示しています。 秘密鍵は、JWTに署名するために使用される。 JWT認証プラグインの公開鍵は、JWTの認証に使用されます。 サンプルJWKコンテンツ:

      {
        "kty": "RSA",
        "e": "AQAB",
        "kid": "O9fpdhrViq2zaaaBEWZITz",
        "use": "sig",
        "alg": "RS256",
        "n": "qSVxcknOm0uCq5vGsOmaorPDzHUubBmZZ4UXj-9do7w9X1uKFXAnqfto4TepSNuYU2bA_-tzSLAGBsR-BqvT6w9SjxakeiyQpVmexxnDw5WZwpWenUAcYrfSPEoNU-0hAQwFYgqZwJQMN8ptxkd0170PFauwACOx4Hfr-9FPGy8NCoIO4MfLXzJ3mJ7xqgIZp3NIOGXz-GIAbCf13ii7kSStpYqN3L_zzpvXUAos1FJ9IPXRV84tIZpFVh2lmRh0h8ImK-vI42dwlD_hOIzayL1Xno2R0T-d5AwTSdnep7g-Fwu8-sj4cCRWq3bd61Zs2QOJ8iustH0vSRMYdP5oYQ"
      }        

      上記のJWKはJSON形式です。 JWT認証プラグインをYAML形式で設定する場合は、JWKをYAML形式で使用する必要があります。*

      • JWT認証プラグインの場合、公開鍵を設定するだけで済みます。 秘密鍵の資格情報を保持します。 次の表に、JWT認証プラグインでサポートされている署名署名アルゴリズムを示します。

      署名アルゴリズム	サポートされているalg設定
      SHA-2とRSASSA-PKCS1-V1_5	RS256、RS384、RS512
      SHA-2付き楕円曲線 (ECDSA)	ES256、ES384、ES512
      SHA-2を使用したHMAC	HS256、HS384、HS512

      重要

      HS256、HS384、またはHS512タイプのキーを設定すると、キー値がBase64URL-encodedになります。 署名が無効な場合は、キーがトークンの生成に使用されたキーと同じ形式であるかどうかを確認します。

   2. JWKをクラスターにインポートします。

      kubectl create configmap jwt --from-literal=jwt_hs256.key={{ .jwtkey }}

   データベースアドレスを指定して汎用リソース (GRE) を設定する手順を表示

   slurmrestdとslurmdbdを有効にします。 変更します。Modify the. Values.slurmConfigs.filesInConfigMapvalues.yamlファイルのパラメーターを使用して、データベースアドレスを指定し、GREを設定します。

   slurmConfigs:
     ...
     filesInConfigMap:
       gres.conf: |
         # Configure Copilot to update the information about the resources allocated from Kubernetes to Slurm.
         Name=k8scpu Flags=CountOnly
         Name=k8smemory Flags=CountOnly
       slurmdbd.conf: |
         # The path of the logs. The path must be the same as the path specified in the following authentication configurations.
         LogFile=/var/log/slurmdbd.log
         # When you use slurmrestd, you must specify JWT authentication.
         AuthAltTypes=auth/jwt
         # slurmdbd needs to use the key in the following path to authenticate the token. Use the following configurations to mount the key to the pod.
         AuthAltParameters=jwt_key=/var/jwt/jwt_hs256.key
         AuthType=auth/munge
         SlurmUser=slurm
         # Specify a MySQL database account.
         StoragePass=
         StorageHost=
         StorageType=accounting_storage/mysql
         StorageUser=root
         StoragePort=3306
       slurm.conf: |
         # Specify the following extended resource attributes for nodes in the Slurm cluster: k8scpu and k8smemory. This prevents the nodes from entering the DOWN state.
         NodeFeaturesPlugins=node_features/k8s_resources
         # Enable Slurm to automatically add k8scpu and k8smemory when you use Slurm to submit jobs.
         JobSubmitPlugins=k8s_resource_completion
         AccountingStorageHost=slurm-test-slurmdbd
         # When you use slurmrestd, you must specify JWT authentication.
         AuthAltTypes=auth/jwt
         # slurmctld needs to use the key in the following path to authenticate the token. Use the following configurations to mount the key to the pod.
         AuthAltParameters=jwt_key=/var/jwt/jwt_hs256.key
         # Configure Copilot to update the information about the resources allocated from Kubernetes to Slurm.
         GresTypes=k8scpu,k8smemory
         # Specify ${slurmClusterName}-slurmdbd. slurmOperator automatically deploys slurmdbd.
         AccuntingStorageHost=
         AccountingStoragePort=6819
         AccountingStorageType=accounting_storage/slurmdbd
         # Information used by the JobComp plug-in to access the MySQL database.
         JobCompHost=
         JobCompLoc=/var/log/slurm/slurm_jobcomp.log
         JobCompPass=
         JobCompPort=3306
         JobCompType=jobcomp/mysql
         JobCompUser=root
         # Configurations that ensure high availability.
         SlurmctldHost=

   slurmrestdポッドとslurmdbdポッドを設定する手順を示します

   slurmrestdポッドとslurmdbdポッドを設定します。

   ...
   headNodeConfig:
     image: "registry-cn-hangzhou.ack.aliyuncs.com/acs/slurm:23.06-1.6-aliyun-49259f59"
     # Mount the generated JWT key to Slurm. The mount path must be the same as the path specified in the preceding section.
     volumes: 
     - configMap:
         defaultMode: 444
         name: jwt
       name: config-jwt
     volumeMounts: 
     - mountPath: /var/jwt
       name: config-jwt
   slurmdbdConfigs:
     nodeSelector: {}
     tolerations: []
     affinity: {}
     resources: {}
     image: "registry-cn-hangzhou.ack.aliyuncs.com/acs/slurm:23.06-1.6-aliyun-49259f59"
     imagePullSecrets: []
     # if .slurmConfigs.createConfigsByConfigMap is true, slurmConfPath and volume and volumeMounts will be auto set as:
     #  volumeMounts:
     #    - name: config-{{ .Values.slurmConfigs.configMapName }}
     #      mountPath: {{ .Values.slurmConfigs.slurmConfigPathInPod }}
     # volumes:
     #   - name: config-{{ .Values.slurmConfigs.configMapName }}
     #     configMap:
     #       name: {{ .Values.slurmConfigs.configMapName }}
     # also for mungeConfigs.createConfigsBySecret
     # Mount the generated JWT key to Slurm. The mount path must be the same as the path specified in the preceding section.
   
     volumes: 
     - configMap:
         defaultMode: 444
         name: jwt
       name: config-jwt
     volumeMounts: 
     - mountPath: /var/jwt
       name: config-jwt
   
   slurmrestdConfigs:
     nodeSelector: {}
     tolerations: []
     affinity: {}
     resources: {}
     image: "registry-cn-hangzhou.ack.aliyuncs.com/acs/slurm:23.06-1.6-aliyun-49259f59"
     imagePullSecrets: []
     # if .slurmConfigs.createConfigsByConfigMap is true, slurmConfPath and volume and volumeMounts will be auto set as:
     #  volumeMounts:
     #    - name: config-{{ .Values.slurmConfigs.configMapName }}
     #      mountPath: {{ .Values.slurmConfigs.slurmConfigPathInPod }}
     # volumes:
     #   - name: config-{{ .Values.slurmConfigs.configMapName }}
     #     configMap:
     #       name: {{ .Values.slurmConfigs.configMapName }}
     # also for mungeConfigs.createConfigsBySecret
     # Mount the generated JWT key to Slurm. The mount path must be the same as the path specified in the preceding section.
     volumes: 
     - configMap:
         defaultMode: 444
         name: jwt
       name: config-jwt
     volumeMounts: 
     - mountPath: /var/jwt
       name: config-jwt

4. 次のコマンドを実行して、ack-slurm-clusterチャートをインストールします。 ack-slurm-clusterチャートが既にインストールされている場合は、helm upgradeコマンドを実行して、インストールされているチャートを更新できます。 インストールされたチャートを更新した後、既存のポッドとslurmctld用に作成されたStatefulSetを手動で削除して、更新を有効にする必要があります。

   cd ..
   helm install my-slurm-cluster ack-slurm-cluster # Replace my-slurm-cluster with the actual value.

5. チャートをインストールした後、helm listコマンドを実行して、ack-slurm-clusterチャートが正常にインストールされているかどうかを確認します。

   helm list

   想定される出力：

   NAME                    NAMESPACE       REVISION        UPDATED                                 STATUS          CHART                   APP VERSION
   ack-slurm-cluster       default         1               2024-07-19 14:47:58.126357 +0800 CST    deployed        ack-slurm-cluster-2.0.0 2.0.0      

6. slurmrestdとslurmdbdが期待どおりに実行されるかどうかを確認します。

   1. kubectlを使用してクラスターに接続し、slurmdbdポッドが期待どおりに実行されるかどうかを確認します。

      kubectl get pod

      次のサンプル出力は、1つのワーカーポッドと3つの制御プレーンポッドがクラスターで実行されることを示しています。

      NAME                          READY   STATUS    RESTARTS   AGE
      slurm-test-slurmctld-dlncz    1/1     Running   0          3h49m
      slurm-test-slurmdbd-8f75r     1/1     Running   0          3h49m
      slurm-test-slurmrestd-mjdzt   1/1     Running   0          3h49m
      slurm-test-worker-cpu-0       1/1     Running   0          166m

   2. 次のコマンドを実行してログを照会します。 ログを表示して、slurmdbdが期待どおりに実行されるかどうかを確認できます。

      kubectl exec slurm-test-slurmdbd-8f75r cat /var/log/slurmdbd.log | head

      想定される出力：

      kubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.
      [2024-07-22T19:52:55.727] accounting_storage/as_mysql: _check_mysql_concat_is_sane: MySQL server version is: 8.0.34
      [2024-07-22T19:52:55.737] error: Database settings not recommended values: innodb_lock_wait_timeout
      [2024-07-22T19:52:56.089] slurmdbd version 23.02.7 started

2.1 共同配置されたスケジューリングのテスト

1. GenericNodesのステータスを確認して、SlurmワークロードとKubernetesワークロードを表示します。

   kubectl get genericnode

   想定される出力：

   NAME                    CLUSTERNAME   ALIAS                     TYPE    ALLOCATEDRESOURCES
   cn-hongkong.10.1.0.19                 slurm-test-worker-cpu-0   Slurm   [{"allocated":{"cpu":"0","memory":"0"},"type":"Slurm"},{"allocated":{"cpu":"1735m","memory":"2393Mi"},"type":"Kubernetes"}]

2. 次のコマンドを実行して、Slurmクラスターにジョブを送信し、GenericNodesをクエリします。 返されたGenericNodeは、Slurmクラスター内のジョブのリソース使用量とKubernetesクラスター内のジョブのリソース使用量を記録します。

   root@iZj6c1wf3c25dbynbna3qgZ ~]# kubectl exec slurm-test-slurmctld-dlncz -- nohup srun --cpus-per-task=3 --mem=4000 --gres=k8scpu:3,k8smemory:4000 sleep inf &
   [1] 4132674
   
   [root@iZj6c1wf3c25dbynbna3qgZ ~]# kubectl scale deployment nginx-deployment-basic --replicas 2
   deployment.apps/nginx-deployment-basic scaled
   
   [root@iZj6c1wf3c25dbynbna3qgZ ~]# kubectl get genericnode
   NAME                    CLUSTERNAME   ALIAS                     TYPE    ALLOCATEDRESOURCES
   cn-hongkong.10.1.0.19                 slurm-test-worker-cpu-0   Slurm   [{"allocated":{"cpu":"3","memory":"4000Mi"},"type":"Slurm"},{"allocated":{"cpu":"2735m","memory":"3417Mi"},"type":"Kubernetes"}]

3. この場合、別のジョブをSlurmクラスターに送信すると、2番目のジョブはPending状態になります。

   [root@iZj6c1wf3c25dbynbna3qgZ ~]# kubectl exec slurm-test-slurmctld-dlncz -- nohup srun --cpus-per-task=3 --mem=4000 sleep inf &
   [2] 4133454
   
   [root@iZj6c1wf3c25dbynbna3qgZ ~]# srun: job 2 queued and waiting for resources
   
   [root@iZj6c1wf3c25dbynbna3qgZ ~]# kubectl exec slurm-test-slurmctld-dlncz -- squeue
    JOBID PARTITION     NAME     USER ST       TIME  NODES NODELIST(REASON)
        2     debug    sleep     root PD       0:00      1 (Resources)
        1     debug    sleep     root  R       2:34      1 slurm-test-worker-cpu-0

この例では、GREは手動で指定されません。 ただし、前のsrunコマンドではGREが表示されます。 これは、Slurmクラスターにはjob_resource_completionプラグインがプリインストールされており、CPUリクエストとメモリリクエストに基づいて自動的にGREが追加されるためです。 job_resource_completionがインストールされていない場合は、GREを手動で指定する必要があります。 この例では、次のGRE設定が指定されています。-- gres=k8scpu:3,k8smemory:4000。 [Slurmジョブスクリプトの説明を表示] をクリックして、Slurmジョブスクリプトでパラメーターを指定する方法を表示します。

#!/bin/bash
#SBATCH --job-name=test_job                   # The job name.
#SBATCH --nodes=2                             # The number of nodes required by the job.
#SBATCH --ntasks-per-node=4                   # The number of tasks to run on each node.
#SBATCH --cpus-per-task=2                     # The number of vCPUs required by each task.
#SBATCH --time=01:00:00                       # The maximum duration of the job.
#SBATCH --output=job_output_%j.txt            # The name of the stdout file.
#SBATCH --error=job_error_%j.txt              # The name of the stderr file.

# User-defined job commands.
srun my_program

sbatch --nodes=2 --ntasks-per-node=4 --cpus-per-task=2 --time=01:00:00 --job-name=test_job my_job_script.sh

オプション: 2.2コンテナ化されていないSlurmクラスターで同一場所に配置されたスケジューリングを実装する