Container Service for Kubernetes:ACK クラスター上での Slurm のコンテナー化とデプロイ

LDAP バックエンドのデプロイ

1. ldap.yaml という名前のファイルを作成し、次の内容をファイルにコピーします。これにより、ユーザー情報を保存および管理する基本的な LDAP インスタンスが作成されます。ldap.yaml ファイルは、LDAP バックエンド Pod とそれに関連するサービスを定義します。Pod には LDAP コンテナーが含まれ、サービスはネットワーク内で LDAP サービスを公開します。

   LDAP バックエンド Pod とそれに関連するサービスの表示

      ---
      apiVersion: apps/v1
      kind: Deployment
      metadata:
        namespace: default
        name: ldap
        labels:
          app: ldap
      spec:
        selector:
          matchLabels:
            app: ldap
        revisionHistoryLimit: 10
        template:
          metadata:
            labels:
              app: ldap
          spec:
            securityContext:
              seLinuxOptions: {}
            imagePullSecrets: []
            restartPolicy: Always
            initContainers: []
            containers:
              - image: 'osixia/openldap:1.4.0'
                imagePullPolicy: IfNotPresent
                name: ldap
                volumeMounts:
                  - name: openldap-data
                    mountPath: /var/lib/ldap
                    subPath: data
                  - name: openldap-data
                    mountPath: /etc/ldap/slapd.d
                    subPath: config
                  - name: openldap-data
                    mountPath: /container/service/slapd/assets/certs
                    subPath: certs
                  - name: secret-volume
                    mountPath: /container/environment/01-custom
                  - name: container-run
                    mountPath: /container/run
                args:
                  - '--copy-service'
                resources:
                  limits:
                  requests:
                env: []
                readinessProbe:
                  tcpSocket:
                    port: openldap
                  initialDelaySeconds: 20
                  timeoutSeconds: 1
                  periodSeconds: 10
                  successThreshold: 1
                  failureThreshold: 10
                livenessProbe:
                  tcpSocket:
                    port: openldap
                  initialDelaySeconds: 20
                  timeoutSeconds: 1
                  periodSeconds: 10
                  successThreshold: 1
                  failureThreshold: 10
                lifecycle: {}
                ports:
                  - name: openldap
                    containerPort: 389
                    protocol: TCP
                  - name: ssl-ldap-port
                    containerPort: 636
                    protocol: TCP
            volumes:
              - name: openldap-data
                emptyDir: {}
              - name: secret-volume
                secret:
                  secretName: ldap-secret
                  defaultMode: 420
                  items: []
              - name: container-run
                emptyDir: {}
            dnsPolicy: ClusterFirst
            dnsConfig: {}
            terminationGracePeriodSeconds: 30
        progressDeadlineSeconds: 600
        strategy:
          type: RollingUpdate
          rollingUpdate:
            maxUnavailable: 25%
            maxSurge: 25%
        replicas: 1
      ---
      apiVersion: v1
      kind: Service
      metadata:
        annotations: {}
        labels:
          app: ldap
        name: ldap-service
        namespace: default
      spec:
        ports:
          - name: openldap
            port: 389
            protocol: TCP
            targetPort: openldap
          - name: ssl-ldap-port
            port: 636
            protocol: TCP
            targetPort: ssl-ldap-port
        selector:
          app: ldap
        sessionAffinity: None
        type: ClusterIP
      ---
      metadata:
        name: ldap-secret
        namespace: default
        annotations: {}
      data:
        env.startup.yaml: >-
          IyBUaGlzIGlzIHRoZSBkZWZhdWx0IGltYWdlIHN0YXJ0dXAgY29uZmlndXJhdGlvbiBmaWxlCiMgdGhpcyBmaWxlIGRlZmluZSBlbnZpcm9ubWVudCB2YXJpYWJsZXMgdXNlZCBkdXJpbmcgdGhlIGNvbnRhaW5lciAqKmZpcnN0IHN0YXJ0KiogaW4gKipzdGFydHVwIGZpbGVzKiouCgojIFRoaXMgZmlsZSBpcyBkZWxldGVkIHJpZ2h0IGFmdGVyIHN0YXJ0dXAgZmlsZXMgYXJlIHByb2Nlc3NlZCBmb3IgdGhlIGZpcnN0IHRpbWUsCiMgYWZ0ZXIgdGhhdCBhbGwgdGhlc2UgdmFsdWVzIHdpbGwgbm90IGJlIGF2YWlsYWJsZSBpbiB0aGUgY29udGFpbmVyIGVudmlyb25tZW50LgojIFRoaXMgaGVscHMgdG8ga2VlcCB5b3VyIGNvbnRhaW5lciBjb25maWd1cmF0aW9uIHNlY3JldC4KIyBtb3JlIGluZm9ybWF0aW9uIDogaHR0cHM6Ly9naXRodWIuY29tL29zaXhpYS9kb2NrZXItbGlnaHQtYmFzZWltYWdlCgojIFJlcXVpcmVkIGFuZCB1c2VkIGZvciBuZXcgbGRhcCBzZXJ2ZXIgb25seQpMREFQX09SR0FOSVNBVElPTjogRXhhbXBsZSBJbmMuCkxEQVBfRE9NQUlOOiBleGFtcGxlLm9yZwpMREFQX0JBU0VfRE46ICNpZiBlbXB0eSBhdXRvbWF0aWNhbGx5IHNldCBmcm9tIExEQVBfRE9NQUlOCgpMREFQX0FETUlOX1BBU1NXT1JEOiBhZG1pbgpMREFQX0NPTkZJR19QQVNTV09SRDogY29uZmlnCgpMREFQX1JFQURPTkxZX1VTRVI6IGZhbHNlCkxEQVBfUkVBRE9OTFlfVVNFUl9VU0VSTkFNRTogcmVhZG9ubHkKTERBUF9SRUFET05MWV9VU0VSX1BBU1NXT1JEOiByZWFkb25seQoKIyBCYWNrZW5kCkxEQVBfQkFDS0VORDogaGRiCgojIFRscwpMREFQX1RMUzogdHJ1ZQpMREFQX1RMU19DUlRfRklMRU5BTUU6IGxkYXAuY3J0CkxEQVBfVExTX0tFWV9GSUxFTkFNRTogbGRhcC5rZXkKTERBUF9UTFNfQ0FfQ1JUX0ZJTEVOQU1FOiBjYS5jcnQKCkxEQVBfVExTX0VORk9SQ0U6IGZhbHNlCkxEQVBfVExTX0NJUEhFUl9TVUlURTogU0VDVVJFMjU2Oi1WRVJTLVNTTDMuMApMREFQX1RMU19QUk9UT0NPTF9NSU46IDMuMQpMREFQX1RMU19WRVJJRllfQ0xJRU5UOiBkZW1hbmQKCiMgUmVwbGljYXRpb24KTERBUF9SRVBMSUNBVElPTjogZmFsc2UKIyB2YXJpYWJsZXMgJExEQVBfQkFTRV9ETiwgJExEQVBfQURNSU5fUEFTU1dPUkQsICRMREFQX0NPTkZJR19QQVNTV09SRAojIGFyZSBhdXRvbWF0aWNhbHkgcmVwbGFjZWQgYXQgcnVuIHRpbWUKCiMgaWYgeW91IHdhbnQgdG8gYWRkIHJlcGxpY2F0aW9uIHRvIGFuIGV4aXN0aW5nIGxkYXAKIyBhZGFwdCBMREFQX1JFUExJQ0FUSU9OX0NPTkZJR19TWU5DUFJPViBhbmQgTERBUF9SRVBMSUNBVElPTl9EQl9TWU5DUFJPViB0byB5b3VyIGNvbmZpZ3VyYXRpb24KIyBhdm9pZCB1c2luZyAkTERBUF9CQVNFX0ROLCAkTERBUF9BRE1JTl9QQVNTV09SRCBhbmQgJExEQVBfQ09ORklHX1BBU1NXT1JEIHZhcmlhYmxlcwpMREFQX1JFUExJQ0FUSU9OX0NPTkZJR19TWU5DUFJPVjogYmluZGRuPSJjbj1hZG1pbixjbj1jb25maWciIGJpbmRtZXRob2Q9c2ltcGxlIGNyZWRlbnRpYWxzPSRMREFQX0NPTkZJR19QQVNTV09SRCBzZWFyY2hiYXNlPSJjbj1jb25maWciIHR5cGU9cmVmcmVzaEFuZFBlcnNpc3QgcmV0cnk9IjYwICsiIHRpbWVvdXQ9MSBzdGFydHRscz1jcml0aWNhbApMREFQX1JFUExJQ0FUSU9OX0RCX1NZTkNQUk9WOiBiaW5kZG49ImNuPWFkbWluLCRMREFQX0JBU0VfRE4iIGJpbmRtZXRob2Q9c2ltcGxlIGNyZWRlbnRpYWxzPSRMREFQX0FETUlOX1BBU1NXT1JEIHNlYXJjaGJhc2U9IiRMREFQX0JBU0VfRE4iIHR5cGU9cmVmcmVzaEFuZFBlcnNpc3QgaW50ZXJ2YWw9MDA6MDA6MDA6MTAgcmV0cnk9IjYwICsiIHRpbWVvdXQ9MSBzdGFydHRscz1jcml0aWNhbApMREFQX1JFUExJQ0FUSU9OX0hPU1RTOgogIC0gbGRhcDovL2xkYXAuZXhhbXBsZS5vcmcgIyBUaGUgb3JkZXIgbXVzdCBiZSB0aGUgc2FtZSBvbiBhbGwgbGRhcCBzZXJ2ZXJzCiAgLSBsZGFwOi8vbGRhcDIuZXhhbXBsZS5vcmcKCgojIFJlbW92ZSBjb25maWcgYWZ0ZXIgc2V0dXAKTERBUF9SRU1PVkVfQ09ORklHX0FGVEVSX1NFVFVQOiB0cnVlCgojIGNmc3NsIGVudmlyb25tZW50IHZhcmlhYmxlcyBwcmVmaXgKTERBUF9DRlNTTF9QUkVGSVg6IGxkYXAgIyBjZnNzbC1oZWxwZXIgZmlyc3Qgc2VhcmNoIGNvbmZpZyBmcm9tIExEQVBfQ0ZTU0xfKiB2YXJpYWJsZXMsIGJlZm9yZSBDRlNTTF8qIHZhcmlhYmxlcy4K
        env.yaml: >-
          IyBUaGlzIGlzIHRoZSBkZWZhdWx0IGltYWdlIGNvbmZpZ3VyYXRpb24gZmlsZQojIFRoZXNlIHZhbHVlcyB3aWxsIHBlcnNpc3RzIGluIGNvbnRhaW5lciBlbnZpcm9ubWVudC4KCiPCoEFsbCBlbnZpcm9ubWVudCB2YXJpYWJsZXMgdXNlZCBhZnRlciB0aGUgY29udGFpbmVyIGZpcnN0IHN0YXJ0CiMgbXVzdCBiZSBkZWZpbmVkIGhlcmUuCiMgbW9yZSBpbmZvcm1hdGlvbiA6IGh0dHBzOi8vZ2l0aHViLmNvbS9vc2l4aWEvZG9ja2VyLWxpZ2h0LWJhc2VpbWFnZQoKIyBHZW5lcmFsIGNvbnRhaW5lciBjb25maWd1cmF0aW9uCiMgc2VlIHRhYmxlIDUuMSBpbiBodHRwOi8vd3d3Lm9wZW5sZGFwLm9yZy9kb2MvYWRtaW4yNC9zbGFwZGNvbmYyLmh0bWwgZm9yIHRoZSBhdmFpbGFibGUgbG9nIGxldmVscy4KTERBUF9MT0dfTEVWRUw6IDI1Ngo=
      type: Opaque
      kind: Secret
      apiVersion: v1

2. 次のコマンドを実行して、LDAP バックエンドサービスをデプロイします： 期待される出力：

      kubectl apply -f ldap.yaml

      deployment.apps/ldap created
      service/ldap-service created
      secret/ldap-secret created

(オプション) LDAP フロントエンドのデプロイ

1. phpldapadmin.yaml という名前のファイルを作成し、次の内容をファイルにコピーします。これにより、Web インターフェイスを通じて管理効率を向上させるための LDAP フロントエンド Pod とそれに関連するサービスがデプロイされます。

   LDAP フロントエンド Pod とそれに関連するサービスの表示

      ---
      apiVersion: apps/v1
      kind: Deployment
      metadata:
        namespace: default
        name: phpldapadmin
        labels:
          io.kompose.service: phpldapadmin
      spec:
        selector:
          matchLabels:
            io.kompose.service: phpldapadmin
        revisionHistoryLimit: 10
        template:
          metadata:
            labels:
              io.kompose.service: phpldapadmin
          spec:
            securityContext:
              seLinuxOptions: {}
            imagePullSecrets: []
            restartPolicy: Always
            initContainers: []
            containers:
              - image: 'osixia/phpldapadmin:0.9.0'
                imagePullPolicy: Always
                name: phpldapadmin
                volumeMounts: []
                resources:
                  limits:
                  requests:
                env:
                  - name: PHPLDAPADMIN_HTTPS
                    value: 'false'
                  - name: PHPLDAPADMIN_LDAP_HOSTS
                    value: ldap-service
                lifecycle: {}
                ports:
                  - containerPort: 80
                    protocol: TCP
            volumes: []
            dnsPolicy: ClusterFirst
            dnsConfig: {}
            terminationGracePeriodSeconds: 30
        progressDeadlineSeconds: 600
        strategy:
          type: RollingUpdate
          rollingUpdate:
            maxUnavailable: 25%
            maxSurge: 25%
        replicas: 1
      ---
      apiVersion: v1
      kind: Service
      metadata:
        namespace: default
        name: phpldapadmin
        annotations:
          k8s.kuboard.cn/workload: phpldapadmin
        labels:
          io.kompose.service: phpldapadmin
      spec:
        selector:
          io.kompose.service: phpldapadmin
        type: ClusterIP
        ports:
          - port: 8080
            targetPort: 80
            protocol: TCP
            name: '8080'
            nodePort: 0
        sessionAffinity: None

   次のコマンドを実行して、LDAP フロントエンドサービスをデプロイします：

      kubectl apply -f phpldapadmin.yaml

LDAP クライアントの設定

1. ステップ 3 で説明したように Slurm 管理クラスターの Pod にログインし、次のコマンドを実行して LDAP クライアントパッケージをインストールします：

      apt update
      apt install libnss-ldapd

2. libnss-ldapd パッケージがインストールされた後、Pod 内で Slurm 管理クラスターのネットワーク認証サービスを設定します。

   1. /etc/nslcd.conf ファイルの次のパラメーターを変更して、LDAP サーバーへの接続を定義します：

      apt update
      apt install vim

      ...
      BASE	dc=example,dc=org # 値を LDAP ディレクトリ構造のルートノードの識別名に置き換えます。
      URI	ldap://ldap-service # 値をご利用の LDAP サーバーの Uniform Resource Identifier (URI) に置き換えます。
      ...

      ...
      uri ldap://ldap-service # 値をご利用の LDAP サーバーの URI に置き換えます。
      base dc=example,dc=org # このパラメーターを LDAP ディレクトリ構造に基づいて指定します。
      ...
      tls_cacertfile /etc/ssl/certs/ca-certificates.crt # LDAP サーバー証明書を検証するために使用される認証局 (CA) 証明書ファイルへのパスを指定します。
      ...

オンクラウドノードに基づく Slurm クラスターのオートスケーリング

Slurm on ACK は 2 種類のノードをサポートしています：

• ローカルノード：slurmctld に直接接続されている物理計算ノード。

• オンクラウドノード：クラウドサービスプロバイダーによってオンデマンドで作成および破棄できる VM インスタンスによってバックアップされた論理ノード。

Slurm on ACK のオートスケーリング

手順

1. オートスケーリング権限の設定。 Helm がインストールされている場合、オートスケーリング権限は slurmctld Pod に自動的に設定されるため、このステップはスキップできます。ヘッド Pod は、オートスケーリングのために SlurmCluster CR にアクセスして更新する権限が必要です。RBAC を使用して必要な権限を付与することを推奨します。次の手順に従ってください： まず、slurmctld Pod 用の ServiceAccount、Role、および RoleBinding を作成します。次の例では、Slurm 管理クラスター名は slurm-job-demo で、名前空間は default です。rbac.yaml という名前のファイルを作成し、次の内容をファイルにコピーします： kubectl apply -f rbac.yaml を実行してリソースリストを送信します。次に、slurmctld Pod に権限を付与します。kubectl edit slurmcluster slurm-job-demo を実行して Slurm 管理クラスターを変更します。Spec.Slurmctld.Template.Spec.ServiceAccountName を作成した ServiceAccount に設定します： 変更を適用するには、slurmctld を管理する StatefulSet を再構築します。kubectl get sts slurm-job-demo を実行して StatefulSet を見つけ、次に kubectl delete sts slurm-job-demo を実行して削除します。Slurm オペレーターは StatefulSet を再構築し、新しい構成を適用します。

      apiVersion: v1
      kind: ServiceAccount
      metadata:
        name: slurm-job-demo
      ---
      apiVersion: rbac.authorization.k8s.io/v1
      kind: Role
      metadata:
        name: slurm-job-demo
      rules:
      - apiGroups: ["kai.alibabacloud.com"]
        resources: ["slurmclusters"]
        verbs: ["get", "watch", "list", "update", "patch"]
        resourceNames: ["slurm-job-demo"]
      ---
      apiVersion: rbac.authorization.k8s.io/v1
      kind: RoleBinding
      metadata:
        name: slurm-job-demo
      subjects:
      - kind: ServiceAccount
        name: slurm-job-demo
      roleRef:
        kind: Role
        name: slurm-job-demo
        apiGroup: rbac.authorization.k8s.io

      apiVersion: kai.alibabacloud.com/v1
      kind: SlurmCluster
      ...
      spec:
        slurmctld:
          template:
            spec:
              serviceAccountName: slurm-job-demo
      ...

2. /etc/slurm/slurm.conf でオートスケーリングパラメーターを設定します。

   方法 A：共有ボリュームを使用した ConfigMap の管理

      # 以下のパラメーターは、オンクラウドノードを使用する場合に必要です。
      # SuspendProgram と ResumeProgram 機能は Alibaba Cloud によって開発されました。
      SuspendTimeout=600
      ResumeTimeout=600
      # ノード上でジョブが実行されていない場合に自動的に一時停止される間隔。
      SuspendTime=600
      # 1分あたりにスケーリングできるノード数を設定します。
      ResumeRate=1
      SuspendRate=1
      # NodeName パラメーターの値を ${cluster_name}-worker-${group_name}- の形式で設定する必要があります。この行でノードのリソース量を指定する必要があります。そうしないと、slurmctld Pod
      # は、ノードに 1 つの vCPU しかないと見なします。オンクラウドノードで指定したリソースが、workerGroupSpecs パラメーターで宣言されたリソースと同じであることを確認してください。そうしないと、リソースが無駄になる可能性があります。
      NodeName=slurm-job-demo-worker-cpu-[0-10] Feature=cloud State=CLOUD
      # 以下の構成は固定です。変更しないでください。
      CommunicationParameters=NoAddrCache
      ReconfigFlags=KeepPowerSaveSettings
      SuspendProgram="/slurm-suspend.sh"
      ResumeProgram="/slurm-resume.sh"

   方法 B：ConfigMap の手動管理

   slurm.conf が slurm-config という名前の ConfigMap に保存されている場合、kubectl edit slurm-config を実行して次の構成を追加します：

      slurm.conf:
      ...
        # 以下のパラメーターは、オンクラウドノードを使用する場合に必要です。
        # SuspendProgram と ResumeProgram 機能は Alibaba Cloud によって開発されました。
        SuspendTimeout=600
        ResumeTimeout=600
        # ノード上でジョブが実行されていない場合に自動的に一時停止される間隔。
        SuspendTime=600
        # 1分あたりにスケーリングできるノード数を設定します。
        ResumeRate=1
        SuspendRate=1
        # NodeName パラメーターの値を ${cluster_name}-worker-${group_name}- の形式で設定する必要があります。この行でノードのリソース量を指定する必要があります。そうしないと、slurmctld Pod
        # は、ノードに 1 つの vCPU しかないと見なします。オンクラウドノードで指定したリソースが、workerGroupSpecs パラメーターで宣言されたリソースと同じであることを確認してください。そうしないと、リソースが無駄になる可能性があります。
        NodeName=slurm-job-demo-worker-cpu-[0-10] Feature=cloud State=CLOUD
        # 以下の構成は固定です。変更しないでください。
        CommunicationParameters=NoAddrCache
        ReconfigFlags=KeepPowerSaveSettings
        SuspendProgram="/slurm-suspend.sh"
        ResumeProgram="/slurm-resume.sh"

   方法 C：Helm を使用した ConfigMap の管理

   1. helm upgrade コマンドを実行して Slurm 構成を更新します。

      slurm.conf:
      ...
        # 以下のパラメーターは、オンクラウドノードを使用する場合に必要です。
        # SuspendProgram と ResumeProgram 機能は Alibaba Cloud によって開発されました。
        SuspendTimeout=600
        ResumeTimeout=600
        # ノード上でジョブが実行されていない場合に自動的に一時停止される間隔。
        SuspendTime=600
        # 1分あたりにスケーリングできるノード数を設定します。
        ResumeRate=1
        SuspendRate=1
        # NodeName パラメーターの値を ${cluster_name}-worker-${group_name}- の形式で設定する必要があります。この行でノードのリソース量を指定する必要があります。そうしないと、slurmctld Pod
        # は、ノードに 1 つの vCPU しかないと見なします。オンクラウドノードで指定したリソースが、workerGroupSpecs パラメーターで宣言されたリソースと同じであることを確認してください。そうしないと、リソースが無駄になる可能性があります。
        NodeName=slurm-job-demo-worker-cpu-[0-10] Feature=cloud State=CLOUD
        # 以下の構成は固定です。変更しないでください。
        CommunicationParameters=NoAddrCache
        ReconfigFlags=KeepPowerSaveSettings
        SuspendProgram="/slurm-suspend.sh"
        ResumeProgram="/slurm-resume.sh"

3. 新しい構成の適用。 Slurm 管理クラスターの名前が slurm-job-demo の場合、kubectl delete sts slurm-job-demo を実行して slurmctld Pod の新しい構成を適用します。

4. slurmcluster.yaml ファイルでワーカーノードのレプリカ数を 0 に設定し、後続のステップでノードのスケーリング活動を観察できるようにします。

   手動管理

   kubectl edit slurmcluster slurm-job-demo を実行し、Slurm 管理クラスターで workerCount の値を 10 に変更します。これにより、ワーカーノードのレプリカ数が 0 に設定されます。

   Helm を使用した管理

   values.yaml ファイルで、.Values.workerGroup[].workerCount を 0 に変更します。次に、helm upgrade slurm-job-demo . を実行して現在の Helm チャートを更新します。これにより、ワーカーノードのレプリカ数が 0 に設定されます。

5. sbatch コマンドを使用してジョブを投入します。 コマンドプロンプトの後に次の内容を入力します： 期待される出力： この出力は、スクリプトの内容が正しいことを確認します。期待される出力： この出力は、ジョブが投入され、ジョブ ID が割り当てられたことを示します。

   1. 次のコマンドを実行して、スクリプトを Slurm 管理クラスターに処理のために投入します：

      cat << EOF > cloudnodedemo.sh

      > #!/bin/bash
      > srun hostname
      > EOF

      cat cloudnodedemo.sh

      #!/bin/bash
        srun hostname

      sbatch cloudnodedemo.sh

      Submitted batch job 1

6. クラスターのスケーリング結果の表示。 期待される出力： この出力は、Slurm 管理クラスターが投入されたジョブを実行するために自動的に 1 つの計算ノードを追加したことを示します。期待される出力： この出力は、slurm-demo-worker-cpu-0 Pod がクラスターに追加されたことを示しており、ジョブの送信時にクラスターがスケールアウトしたことを確認できます。期待される出力： この出力は、slurm-demo-worker-cpu-0 が新しく起動したノードであり、さらに 10 のオンクラウドノードがスケールアウトに利用可能であることを示しています。期待される出力： 出力内の NodeList=slurm-demo-worker-cpu-0 は、ジョブが新しく追加されたノードで実行されたことを示します。期待される出力： この出力は、スケールアウトに利用可能なノード数が 11 に増加したことを示しており、自動スケールインが完了したことを確認できます。

   1. 一定期間後、次のコマンドを実行してスケールインの結果を表示します：

      cat /var/log/slurm-resume.log

      namespace: default cluster: slurm-demo
        resume called, args [slurm-demo-worker-cpu-0]
        slurm cluster metadata: default slurm-demo
        get SlurmCluster CR slurm-demo succeed
        hostlists: [slurm-demo-worker-cpu-0]
        resume node slurm-demo-worker-cpu-0
        resume worker -cpu-0
        resume node -cpu-0 end

      kubectl get pod

      NAME                                          READY   STATUS    RESTARTS        AGE
      slurm-demo-head-9hn67                         1/1     Running   0               21m
      slurm-demo-worker-cpu-0                       1/1     Running   0               43s

      sinfo

      PARTITION AVAIL  TIMELIMIT  NODES  STATE NODELIST
      debug*       up   infinite      10  idle~ slurm-job-demo-worker-cpu-[2-10]
      debug*       up   infinite      1   idle slurm-job-demo-worker-cpu-[0-1]

      scontrol show job 1

      JobId=1 JobName=cloudnodedemo.sh
         UserId=root(0) GroupId=root(0) MCS_label=N/A
         Priority=4294901757 Nice=0 Account=(null) QOS=(null)
         JobState=COMPLETED Reason=None Dependency=(null)
         Requeue=1 Restarts=0 BatchFlag=1 Reboot=0 ExitCode=0:0
         RunTime=00:00:00 TimeLimit=UNLIMITED TimeMin=N/A
         SubmitTime=2024-05-28T11:37:36 EligibleTime=2024-05-28T11:37:36
         AccrueTime=2024-05-28T11:37:36
         StartTime=2024-05-28T11:37:36 EndTime=2024-05-28T11:37:36 Deadline=N/A
         SuspendTime=None SecsPreSuspend=0 LastSchedEval=2024-05-28T11:37:36 Scheduler=Main
         Partition=debug AllocNode:Sid=slurm-job-demo:93
         ReqNodeList=(null) ExcNodeList=(null)
         NodeList=slurm-job-demo-worker-cpu-0
         BatchHost=slurm-job-demo-worker-cpu-0
         NumNodes=1 NumCPUs=1 NumTasks=1 CPUs/Task=1 ReqB:S:C:T=0:0:*:*
         ReqTRES=cpu=1,mem=1M,node=1,billing=1
         AllocTRES=cpu=1,mem=1M,node=1,billing=1
         Socks/Node=* NtasksPerN:B:S:C=0:0:*:* CoreSpec=*
         MinCPUsNode=1 MinMemoryNode=0 MinTmpDiskNode=0
         Features=(null) DelayBoot=00:00:00
         OverSubscribe=OK Contiguous=0 Licenses=(null) Network=(null)
         Command=//cloudnodedemo.sh
         WorkDir=/
         StdErr=//slurm-1.out
         StdIn=/dev/null
         StdOut=//slurm-1.out
         Power=

      sinfo

      PARTITION AVAIL  TIMELIMIT  NODES  STATE NODELIST
      debug*       up   infinite     11  idle~ slurm-demo-worker-cpu-[0-10]