Container Service for Kubernetes：在ACK叢集上通過容器化部署並運行Slurm

Slurm介紹

Slurm是一個強大的開源叢集資源管理和作業調度平台，專門設計用於最佳化超級電腦和大型計算叢集的效能與效率。其核心組件協同工作，確保系統的高效運作和靈活的管理。Slurm的工作原理如下所示。

• slurmctld（Slurm Control Daemon）：作為Slurm的中央大腦，slurmctld負責監控系統資源、調度作業並管理整個叢集的狀態。為了增強系統的可靠性，可配置一個備用slurmctld實現高可用性，確保即使主控制器故障也不會中斷服務。

• slurmd（Slurm Node Daemon）：在每個計算節點上部署，slurmd守護進程負責接收來自slurmctld的指令，執行作業任務，包括作業的啟動、執行、狀態報表以及準備接受新的作業。它作為與計算資源直接互動的介面，是實現作業調度的基礎。

• slurmdbd（Slurm Database Daemon）：雖然是可選組件，但它能夠通過維護一個集中式資料庫來儲存作業歷史、記賬資訊等，這對於大規模叢集的長期管理和審計至關重要。支援跨多個Slurm管理叢集的資料整合，提升了資料管理的效率和便利性。

• SlurmCLI：提供了一系列命令列工具，以便於作業管理與系統監控：

  • scontrol：用於叢集管理和配置的詳細控制。

  • squeue：查詢作業隊列狀態。

  • srun：用於提交和管理作業。

  • sbatch：用於提交批次工作的命令，可以協助您調度和管理計算資源。

  • sinfo：查看叢集的總體狀態，包括節點的可用性。

Slurm on ACK介紹

Slurm Operator通過SlurmCluster的自訂資源，解決了Slurm叢集管理需要的設定檔以及控制面管理問題，簡化了部署和營運Slurm叢集的複雜度。Slurm on ACK的架構如下圖所示。叢集管理員通過操作SlurmCluster即可輕鬆部署及管理Slurm叢集，SlurmOperator會根據SlurmCluster在叢集中建立出相應的Slurm管控組件。Slurm的設定檔可以通過共用儲存的方式掛載到管控組件中，也可以通過ConfigMap掛載。

Kubernetes叢集管理員

由於叢集管理員擁有Kubernetes叢集的操作許可權，SlurmCluster對於Kubernetes叢集管理員來說是一個運行在叢集中的Pod，因此Kubernetes叢集管理員可以使用kubectl命令列工具登入到叢集中任意SlurmCluster的任意Pod上，且將自動擁有SlurmCluster的Root使用者的許可權。

執行以下命令，可以登入到SlurmCluster的任意Pod上。

# 將slurm-job-demo-head-x9sgs替換成您叢集中具體的Pod名。
kubectl exec -it slurm-job-demo-xxxxx -- bash

SlurmCluster普通使用者

SlurmCluster的管理員或SlurmCluster的普通使用者可能沒有kubectl exec命令的許可權，在使用叢集時需要通過SSH登入的方式登入到已建立的SlurmCluster中。

• 通過Service的ExternalIP登入Head Pod是更持久和可擴充的方案，適合需要長期穩定訪問的情境。通過負載平衡器和External IP，可以從內網的任何位置訪問到SlurmCluster。

• 通過Port-forward轉寄請求是臨時性的解決方案，適用於短期營運或調試需求，因為它依賴於持續啟動並執行kubectl port-forward命令。

節點間的使用者同步

由於Slurm本身不提供集中化的使用者認證服務，當使用sbatch提交作業至SlurmCluster時，如果目標節點上沒有與提交作業使用者對應的賬戶，作業可能無法執行。為解決該問題，您可以通過為SlurmCluster配置LDAP（Lightweight Directory Access Protocol）進行使用者管理，利用LDAP作為一個集中認證的後端，讓Slurm能夠依託此服務驗證使用者身份。具體操作如下所示：

1. 拷貝以下YAML內容至ldap.yaml檔案中，建立一個基礎的LDAP服務執行個體，用於儲存和系統管理使用者資訊。

   ldap.yaml檔案定義了一個LDAP後端Pod和對應的Service。Pod包含LDAP服務的容器，而Service則暴露了LDAP服務，使其在網路中可訪問。

   展開查看LDAP後端Pod和對應的Service

   ---
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     namespace: default
     name: ldap
     labels:
       app: ldap
   spec:
     selector:
       matchLabels:
         app: ldap
     revisionHistoryLimit: 10
     template:
       metadata:
         labels:
           app: ldap
       spec:
         securityContext:
           seLinuxOptions: {}
         imagePullSecrets: []
         restartPolicy: Always
         initContainers: []
         containers:
           - image: 'osixia/openldap:1.4.0'
             imagePullPolicy: IfNotPresent
             name: ldap
             volumeMounts:
               - name: openldap-data
                 mountPath: /var/lib/ldap
                 subPath: data
               - name: openldap-data
                 mountPath: /etc/ldap/slapd.d
                 subPath: config
               - name: openldap-data
                 mountPath: /container/service/slapd/assets/certs
                 subPath: certs
               - name: secret-volume
                 mountPath: /container/environment/01-custom
               - name: container-run
                 mountPath: /container/run
             args:
               - '--copy-service'
             resources:
               limits:
               requests:
             env: []
             readinessProbe:
               tcpSocket:
                 port: openldap
               initialDelaySeconds: 20
               timeoutSeconds: 1
               periodSeconds: 10
               successThreshold: 1
               failureThreshold: 10
             livenessProbe:
               tcpSocket:
                 port: openldap
               initialDelaySeconds: 20
               timeoutSeconds: 1
               periodSeconds: 10
               successThreshold: 1
               failureThreshold: 10
             lifecycle: {}
             ports:
               - name: openldap
                 containerPort: 389
                 protocol: TCP
               - name: ssl-ldap-port
                 containerPort: 636
                 protocol: TCP
         volumes:
           - name: openldap-data
             emptyDir: {}
           - name: secret-volume
             secret:
               secretName: ldap-secret
               defaultMode: 420
               items: []
           - name: container-run
             emptyDir: {}
         dnsPolicy: ClusterFirst
         dnsConfig: {}
         terminationGracePeriodSeconds: 30
     progressDeadlineSeconds: 600
     strategy:
       type: RollingUpdate
       rollingUpdate:
         maxUnavailable: 25%
         maxSurge: 25%
     replicas: 1
   ---
   apiVersion: v1
   kind: Service
   metadata:
     annotations: {}
     labels:
       app: ldap
     name: ldap-service
     namespace: default
   spec:
     ports:
       - name: openldap
         port: 389
         protocol: TCP
         targetPort: openldap
       - name: ssl-ldap-port
         port: 636
         protocol: TCP
         targetPort: ssl-ldap-port
     selector:
       app: ldap
     sessionAffinity: None
     type: ClusterIP
   ---
   metadata:
     name: ldap-secret
     namespace: default
     annotations: {}
   data:
     env.startup.yaml: >-
       IyBUaGlzIGlzIHRoZSBkZWZhdWx0IGltYWdlIHN0YXJ0dXAgY29uZmlndXJhdGlvbiBmaWxlCiMgdGhpcyBmaWxlIGRlZmluZSBlbnZpcm9ubWVudCB2YXJpYWJsZXMgdXNlZCBkdXJpbmcgdGhlIGNvbnRhaW5lciAqKmZpcnN0IHN0YXJ0KiogaW4gKipzdGFydHVwIGZpbGVzKiouCgojIFRoaXMgZmlsZSBpcyBkZWxldGVkIHJpZ2h0IGFmdGVyIHN0YXJ0dXAgZmlsZXMgYXJlIHByb2Nlc3NlZCBmb3IgdGhlIGZpcnN0IHRpbWUsCiMgYWZ0ZXIgdGhhdCBhbGwgdGhlc2UgdmFsdWVzIHdpbGwgbm90IGJlIGF2YWlsYWJsZSBpbiB0aGUgY29udGFpbmVyIGVudmlyb25tZW50LgojIFRoaXMgaGVscHMgdG8ga2VlcCB5b3VyIGNvbnRhaW5lciBjb25maWd1cmF0aW9uIHNlY3JldC4KIyBtb3JlIGluZm9ybWF0aW9uIDogaHR0cHM6Ly9naXRodWIuY29tL29zaXhpYS9kb2NrZXItbGlnaHQtYmFzZWltYWdlCgojIFJlcXVpcmVkIGFuZCB1c2VkIGZvciBuZXcgbGRhcCBzZXJ2ZXIgb25seQpMREFQX09SR0FOSVNBVElPTjogRXhhbXBsZSBJbmMuCkxEQVBfRE9NQUlOOiBleGFtcGxlLm9yZwpMREFQX0JBU0VfRE46ICNpZiBlbXB0eSBhdXRvbWF0aWNhbGx5IHNldCBmcm9tIExEQVBfRE9NQUlOCgpMREFQX0FETUlOX1BBU1NXT1JEOiBhZG1pbgpMREFQX0NPTkZJR19QQVNTV09SRDogY29uZmlnCgpMREFQX1JFQURPTkxZX1VTRVI6IGZhbHNlCkxEQVBfUkVBRE9OTFlfVVNFUl9VU0VSTkFNRTogcmVhZG9ubHkKTERBUF9SRUFET05MWV9VU0VSX1BBU1NXT1JEOiByZWFkb25seQoKIyBCYWNrZW5kCkxEQVBfQkFDS0VORDogaGRiCgojIFRscwpMREFQX1RMUzogdHJ1ZQpMREFQX1RMU19DUlRfRklMRU5BTUU6IGxkYXAuY3J0CkxEQVBfVExTX0tFWV9GSUxFTkFNRTogbGRhcC5rZXkKTERBUF9UTFNfQ0FfQ1JUX0ZJTEVOQU1FOiBjYS5jcnQKCkxEQVBfVExTX0VORk9SQ0U6IGZhbHNlCkxEQVBfVExTX0NJUEhFUl9TVUlURTogU0VDVVJFMjU2Oi1WRVJTLVNTTDMuMApMREFQX1RMU19QUk9UT0NPTF9NSU46IDMuMQpMREFQX1RMU19WRVJJRllfQ0xJRU5UOiBkZW1hbmQKCiMgUmVwbGljYXRpb24KTERBUF9SRVBMSUNBVElPTjogZmFsc2UKIyB2YXJpYWJsZXMgJExEQVBfQkFTRV9ETiwgJExEQVBfQURNSU5fUEFTU1dPUkQsICRMREFQX0NPTkZJR19QQVNTV09SRAojIGFyZSBhdXRvbWF0aWNhbHkgcmVwbGFjZWQgYXQgcnVuIHRpbWUKCiMgaWYgeW91IHdhbnQgdG8gYWRkIHJlcGxpY2F0aW9uIHRvIGFuIGV4aXN0aW5nIGxkYXAKIyBhZGFwdCBMREFQX1JFUExJQ0FUSU9OX0NPTkZJR19TWU5DUFJPViBhbmQgTERBUF9SRVBMSUNBVElPTl9EQl9TWU5DUFJPViB0byB5b3VyIGNvbmZpZ3VyYXRpb24KIyBhdm9pZCB1c2luZyAkTERBUF9CQVNFX0ROLCAkTERBUF9BRE1JTl9QQVNTV09SRCBhbmQgJExEQVBfQ09ORklHX1BBU1NXT1JEIHZhcmlhYmxlcwpMREFQX1JFUExJQ0FUSU9OX0NPTkZJR19TWU5DUFJPVjogYmluZGRuPSJjbj1hZG1pbixjbj1jb25maWciIGJpbmRtZXRob2Q9c2ltcGxlIGNyZWRlbnRpYWxzPSRMREFQX0NPTkZJR19QQVNTV09SRCBzZWFyY2hiYXNlPSJjbj1jb25maWciIHR5cGU9cmVmcmVzaEFuZFBlcnNpc3QgcmV0cnk9IjYwICsiIHRpbWVvdXQ9MSBzdGFydHRscz1jcml0aWNhbApMREFQX1JFUExJQ0FUSU9OX0RCX1NZTkNQUk9WOiBiaW5kZG49ImNuPWFkbWluLCRMREFQX0JBU0VfRE4iIGJpbmRtZXRob2Q9c2ltcGxlIGNyZWRlbnRpYWxzPSRMREFQX0FETUlOX1BBU1NXT1JEIHNlYXJjaGJhc2U9IiRMREFQX0JBU0VfRE4iIHR5cGU9cmVmcmVzaEFuZFBlcnNpc3QgaW50ZXJ2YWw9MDA6MDA6MDA6MTAgcmV0cnk9IjYwICsiIHRpbWVvdXQ9MSBzdGFydHRscz1jcml0aWNhbApMREFQX1JFUExJQ0FUSU9OX0hPU1RTOgogIC0gbGRhcDovL2xkYXAuZXhhbXBsZS5vcmcgIyBUaGUgb3JkZXIgbXVzdCBiZSB0aGUgc2FtZSBvbiBhbGwgbGRhcCBzZXJ2ZXJzCiAgLSBsZGFwOi8vbGRhcDIuZXhhbXBsZS5vcmcKCgojIFJlbW92ZSBjb25maWcgYWZ0ZXIgc2V0dXAKTERBUF9SRU1PVkVfQ09ORklHX0FGVEVSX1NFVFVQOiB0cnVlCgojIGNmc3NsIGVudmlyb25tZW50IHZhcmlhYmxlcyBwcmVmaXgKTERBUF9DRlNTTF9QUkVGSVg6IGxkYXAgIyBjZnNzbC1oZWxwZXIgZmlyc3Qgc2VhcmNoIGNvbmZpZyBmcm9tIExEQVBfQ0ZTU0xfKiB2YXJpYWJsZXMsIGJlZm9yZSBDRlNTTF8qIHZhcmlhYmxlcy4K
     env.yaml: >-
       IyBUaGlzIGlzIHRoZSBkZWZhdWx0IGltYWdlIGNvbmZpZ3VyYXRpb24gZmlsZQojIFRoZXNlIHZhbHVlcyB3aWxsIHBlcnNpc3RzIGluIGNvbnRhaW5lciBlbnZpcm9ubWVudC4KCiPCoEFsbCBlbnZpcm9ubWVudCB2YXJpYWJsZXMgdXNlZCBhZnRlciB0aGUgY29udGFpbmVyIGZpcnN0IHN0YXJ0CiMgbXVzdCBiZSBkZWZpbmVkIGhlcmUuCiMgbW9yZSBpbmZvcm1hdGlvbiA6IGh0dHBzOi8vZ2l0aHViLmNvbS9vc2l4aWEvZG9ja2VyLWxpZ2h0LWJhc2VpbWFnZQoKIyBHZW5lcmFsIGNvbnRhaW5lciBjb25maWd1cmF0aW9uCiMgc2VlIHRhYmxlIDUuMSBpbiBodHRwOi8vd3d3Lm9wZW5sZGFwLm9yZy9kb2MvYWRtaW4yNC9zbGFwZGNvbmYyLmh0bWwgZm9yIHRoZSBhdmFpbGFibGUgbG9nIGxldmVscy4KTERBUF9MT0dfTEVWRUw6IDI1Ngo=
   type: Opaque
   kind: Secret
   apiVersion: v1
   

2. 執行以下命令，部署LDAP後端服務。

   kubectl apply -f ldap.yaml

   預期輸出：

   deployment.apps/ldap created
   service/ldap-service created
   secret/ldap-secret created

3. （可選）拷貝以下YAML內容至phpldapadmin.yaml檔案中，部署一個前端Pod和Service，用於配置前端介面以提升管理效率。

   展開查看LDAP前端Pod和對應的Service

   ---
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     namespace: default
     name: phpldapadmin
     labels:
       io.kompose.service: phpldapadmin
   spec:
     selector:
       matchLabels:
         io.kompose.service: phpldapadmin
     revisionHistoryLimit: 10
     template:
       metadata:
         labels:
           io.kompose.service: phpldapadmin
       spec:
         securityContext:
           seLinuxOptions: {}
         imagePullSecrets: []
         restartPolicy: Always
         initContainers: []
         containers:
           - image: 'osixia/phpldapadmin:0.9.0'
             imagePullPolicy: Always
             name: phpldapadmin
             volumeMounts: []
             resources:
               limits:
               requests:
             env:
               - name: PHPLDAPADMIN_HTTPS
                 value: 'false'
               - name: PHPLDAPADMIN_LDAP_HOSTS
                 value: ldap-service
             lifecycle: {}
             ports:
               - containerPort: 80
                 protocol: TCP
         volumes: []
         dnsPolicy: ClusterFirst
         dnsConfig: {}
         terminationGracePeriodSeconds: 30
     progressDeadlineSeconds: 600
     strategy:
       type: RollingUpdate
       rollingUpdate:
         maxUnavailable: 25%
         maxSurge: 25%
     replicas: 1
   ---
   apiVersion: v1
   kind: Service
   metadata:
     namespace: default
     name: phpldapadmin
     annotations:
       k8s.kuboard.cn/workload: phpldapadmin
     labels:
       io.kompose.service: phpldapadmin
   spec:
     selector:
       io.kompose.service: phpldapadmin
     type: ClusterIP
     ports:
       - port: 8080
         targetPort: 80
         protocol: TCP
         name: '8080'
         nodePort: 0
     sessionAffinity: None

   執行以下命令，部署LDAP前端服務。

   kubectl apply -f phpldapadmin.yaml

4. 按照步驟三的操作登入到SlurmCluster的具體Pod中，執行以下命令，安裝LDAP用戶端軟體包。

   apt update
   apt install libnss-ldapd

5. 安裝完libnss-ldapd軟體包後，在Pod中配置SlurmCluster的網路認證服務。

   1. 執行以下命令，安裝vim軟體包，用於後續編輯指令碼和檔案。

      apt update
      apt install vim

   2. 在/etc/ldap/ldap.conf檔案中編輯如下參數，配置LDAP用戶端。

      ...
      BASE	dc=example,dc=org # 替換為您的LDAP基礎DN。
      URI	ldap://ldap-service # 替換為您的LDAP伺服器位址。
      ...

   3. 在/etc/nslcd.conf檔案中編輯如下參數，定義串連到LDAP伺服器。

      ...
      uri ldap://ldap-service # 替換為實際的LDAP伺服器位址。
      base dc=example,dc=org # 應根據你的LDAP目錄結構進行設定。
      ...
      tls_cacertfile /etc/ssl/certs/ca-certificates.crt # 指定CA認證檔案的路徑，用於驗證LDAP伺服器的認證。
      ...

日誌共用與訪問

預設情況下，使用sbatch產生的作業日誌直接被儲存在執行任務的節點上，給查看日誌帶來了不便。為了方便查看日誌，您可以通過建立NAS檔案系統，將所有的作業日誌統一儲存在一個可訪問的位置。這樣即使計算任務在不同的節點上執行，它們產生的日誌都能被統一收集和儲存，從而提升了日誌管理的便利性。具體操作如下所示。

1. 建立一個NAS檔案系統，這個檔案系統將用於儲存和共用各節點的日誌。具體操作，請參見建立檔案系統。

2. 登入Container Service管理主控台，建立NAS的相關PV（Persistent Volume）和PVC（Persistent Volume Claim）。具體操作，請參見使用NAS靜態儲存卷。

3. 修改SlurmCluster CR。

   對headGroupSpec和每個workerGroupSpec添加volumeMounts和volumes參數配置引用已建立的PVC，將其掛載到/home目錄下。樣本如下：

   headGroupSpec:
   ...
   # 新增對於/home的掛載。
     volumeMounts:
     - mountPath: /home
       name: test  # 這裡為引用PVC的volume名稱。
     volumes:
   # 添加PVC的定義。
     - name: test  # 這裡需要與volumeMounts中的name匹配。
       persistentVolumeClaim:
         claimName: test  # 這裡替換實際PVC的名稱。
   ...
   workerGroupSpecs:
     # ... 對於每個workerGroupSpec重複上述volume和volumeMounts的添加過程。

4. 執行以下命令，部署SlurmCluster CR資源。

   重要

   如果SlurmCluster CR資源部署失敗，請執行kubectl delete slurmcluster slurm-job-demo命令刪除CR資源，然後重新部署即可成功。

   kubectl  apply -f slurmcluster.yaml

   部署後即可在不同的工作節點中擁有相同的檔案系統。

叢集自動擴縮容

在預設提供的Slurm鏡像的根路徑下包含slurm-resume.sh、slurm-suspend.sh以及slurmctld-copilot等可執行檔和指令碼，它們負責與slurmctld互動以進行叢集的擴縮容。

基於CloudNode的Slurm叢集自動擴縮容原理

• Local Nodes：指直接連接到叢集管理器、物理存在的計算節點。

• Cloud Nodes：邏輯上存在的節點，代表可通過雲端服務供應商按需建立和銷毀的虛擬機器執行個體。

Slurm on ACK自動擴縮容原理