Container Service for Kubernetes：通過動態儲存裝置卷使用雲端硬碟進行持久化儲存

1. 定義模板
   建立或使用預設 StorageClass，作為動態建立雲端硬碟的模板，規定其類型、效能、回收策略等關鍵參數。
   

2. 在應用中聲明儲存需求

   在StatefulSet中定義 volumeClaimTemplates，並引用 StorageClass，聲明Pod待使用的PVC的規格，如儲存容量、訪問模式等。

3. 自動化建立並掛載儲存卷
   StatefulSet 建立 Pod 時，系統會基於模板自動為其產生一個唯一的 PVC。CSI組件會根據 StorageClass 的規則建立 PV 並與 PVC 綁定，最終將該雲端硬碟掛載到 Pod 中。
   

步驟一：選擇StorageClass

為便於使用，ACK提供多種預設StorageClass。由於StorageClass建立後無法修改，若預設配置不滿足需求，可通過手動建立StorageClass建立。

步驟二：建立應用並掛載雲端硬碟

以StatefulSet為例介紹如何掛載雲端硬碟儲存卷。

1. 建立statefulset.yaml。

   以下樣本建立了包含2個Pod的StatefulSet，使用 volumeClaimTemplates 來為每個 Pod 自動建立並綁定獨立的持久化儲存。

   apiVersion: apps/v1
   kind: StatefulSet
   metadata:
     name: web
   spec:
     serviceName: "nginx"
     replicas: 2
     selector:
       matchLabels:
         app: nginx
     template:
       metadata:
         labels:
           app: nginx
       spec:
         # 建議配置以下securityContext以最佳化掛載效能
         securityContext:
           fsGroup: 1000
           fsGroupChangePolicy: "OnRootMismatch"
         containers:
         - name: nginx
           image: anolis-registry.cn-zhangjiakou.cr.aliyuncs.com/openanolis/nginx:1.14.1-8.6
           ports:
           - containerPort: 80
           volumeMounts:
           # 將資料卷掛載到容器的/data目錄
           # name需與volumeClaimTemplates中定義的metadata.name一致
           - name: pvc-disk
             mountPath: /data
     # 定義PVC模板
     volumeClaimTemplates:
     - metadata:
         name: pvc-disk
       spec:
         # 訪問模式
         accessModes: [ "ReadWriteOnce" ]
         # 關聯此前建立的StorageClass
         storageClassName: "alicloud-disk-wait-for-first-consumer"
         resources:
           requests:
             # 申請的儲存容量，即雲端硬碟大小
             storage: 20Gi

   重要

   在 Pod 中配置 securityContext.fsgroup 會導致kubelet在掛載卷時遞迴修改檔案許可權（chmod/chown）。若檔案數量龐大，將顯著延長掛載時間。

   對於1.20及以上版本的叢集，建議將fsGroupChangePolicy配置為OnRootMismatch，僅在首次掛載且卷根目錄許可權不匹配時才執行遞迴的許可權變更，以最佳化掛載效能。若效能仍不滿足要求或需更精細的許可權控制，建議使用initContainer在主應用程式容器啟動前自行執行許可權調整命令。

2. 建立StatefulSet。

   kubectl create -f statefulset.yaml

3. 確認Pod處於Running狀態。

   kubectl get pod -l app=nginx

4. 查看掛載路徑，確認已掛載雲端硬碟。

   本樣本Pod名稱為web-1，請按實際替換。

   kubectl exec web-1 -- df -h /data

   預期輸出：

   Filesystem      Size  Used Avail Use% Mounted on
   /dev/vdb         20G   24K   20G   1% /data

掛載雲端硬碟的Pod調度至虛擬節點時，PVC一直處於Pending狀態怎麼辦？

可能是使用了不支援虛擬節點調度情境的StorageClass。當通過特定標籤（Label）或註解（Annotation）將Pod調度到虛擬節點時，不支援使用volumeBindingMode: WaitForFirstConsumer模式的StorageClass。

• 原因：
  WaitForFirstConsumer模式依賴kube-scheduler為Pod選擇一個物理節點，從而確定其可用性區域，然後再根據可用性區域建立雲端硬碟。但虛擬節點的部分調度機制不遵循此流程，導致CSI無法擷取可用性區域資訊，繼而無法建立PV，PVC便處於Pending狀態。
  

• 如遇問題，請檢查Pod或其命名空間中是否包含以下任意一種配置：

  • Label：

    • alibabacloud.com/eci: "true"：調度至ECI Pod。

    • alibabacloud.com/acs: "true"：調度至ACS Pod。

  • 指定節點：

    • 通過spec.nodeName直接指定一個節點（節點名稱首碼為virtual-kubelet）。

  • Annotation：

    • k8s.aliyun.com/eci-vswitch：指定ECI Pod的交換器。

    • k8s.aliyun.com/eci-fail-strategy: "fail-fast"：ECI Pod的故障處理策略為快速失敗。

如何為單個Pod或單副本Deployment掛載雲端硬碟儲存卷？

對於不需要多副本伸縮和穩定網路標識的簡單應用，可手動建立PVC並將其掛載到Pod或Deployment，以實現持久化儲存。

鏈路為：選擇StorageClass -> 建立PVC -> 在應用中掛載PVC。

1. 準備StorageClass。

2. 建立PVC，申請儲存資源。

   kubectl

   1. 建立disk-pvc.yaml。

      apiVersion: v1
      kind: PersistentVolumeClaim
      metadata:
        name: disk-pvc
      spec:
        # 訪問模式
        accessModes:
        - ReadWriteOnce
        volumeMode: Filesystem
        resources:
          requests:
            # 申請的儲存容量，即雲端硬碟大小
            storage: 20Gi
        # 關聯此前建立的StorageClass
        storageClassName: alicloud-disk-topology-alltype 

      相關參數說明如下：

      參數	說明
      accessModes	儲存卷的訪問模式。可取值：ReadWriteOnce、ReadOnlyMany或ReadWriteMany。具體取決於StorageClass中的multiAttach配置以及PVC中的volumeMode配置。 multiAttach表示是否開啟雲端硬碟多重掛載。預設為false，不開啟。 multiAttach為false，volumeMode配置為任意值時，訪問模式僅支援ReadWriteOnce。 multiAttach為true，volumeMode為Filesystem時，訪問模式僅支援ReadWriteOnce和ReadOnlyMany。 multiAttach為true，volumeMode為Block時，三種訪問模式均支援。 重要 此情境下，訪問模式通常為ReadWriteOnce (RWO) ，即同一時間只能被一個Pod掛載。因此Deployment副本數不能大於1。如嘗試擴容，新Pod會因無法掛載已被佔用的雲端硬碟而一直處於Pending狀態。
      volumeMode	儲存卷的模式。可取值： Filesystem（預設）：儲存卷會被格式化並掛載為目錄。 Block：儲存卷以未格式化的塊裝置形式直接提供給 Pod。
      storage	申請的儲存容量大小。不同雲端硬碟類型的容量範圍不同。請確保storage取值符合其引用的 StorageClass 所對應的雲端硬碟類型的容量限制，以免雲端硬碟建立失敗。
      storageClassName	待綁定的StorageClass。

   2. 建立PVC。

      kubectl create -f disk-pvc.yaml

   3. 查看PVC。

      kubectl get pvc

      輸出中，由於StorageClass使用WaitForFirstConsumer模式，此時PVC處於Pending狀態，直到第一個使用它的 Pod 被成功調度。

      NAME       STATUS    VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS                            VOLUMEATTRIBUTESCLASS   AGE
      disk-pvc   Pending                                      alicloud-disk-wait-for-first-consumer   <unset>                 14s

   控制台

   1. 在叢集管理頁左側導覽列，選擇儲存 > 儲存聲明。

   2. 在儲存聲明頁面，單擊建立，選擇儲存宣告類型為雲端硬碟，按照頁面提示完成參數的配置。

      參數	描述
      分配模式	選擇使用儲存類動態建立。
      已有儲存類	預設建立或手動建立的StorageClass。
      總量	申請的儲存容量大小。不同雲端硬碟類型的容量範圍不同。請確保storage取值符合其引用的 StorageClass 所對應的雲端硬碟類型的容量限制，以免雲端硬碟建立失敗。
      訪問模式	僅支援ReadWriteOnce，表示卷只能被一個Pod以讀寫方式掛載。

      建立完成後，可在儲存聲明頁面查看新建立的PVC。

3. 在應用中掛載PVC。

   1. 建立disk-deployment.yaml。

      展開查看樣本YAML

      apiVersion: apps/v1
      kind: Deployment
      metadata:
        name: single-pod-app
      spec:
        # 確保副本數為1
        replicas: 1
        selector:
          matchLabels:
            app: nginx-single
        template:
          metadata:
            labels:
              app: nginx-single
          spec:
            containers:
            - name: nginx
              image: anolis-registry.cn-zhangjiakou.cr.aliyuncs.com/openanolis/nginx:1.14.1-8.6
              ports:
              - containerPort: 80
              # 在容器內定義掛載點
              volumeMounts:
              - name: my-persistent-storage  # 必須與下面volumes中定義的name一致
                mountPath: /data  # 掛載到容器內的/data目錄
            # 在Pod層級聲明並引用PVC
            volumes:
            - name: my-persistent-storage # 供容器引用的卷
              persistentVolumeClaim:
                claimName: disk-pvc # 引用此前建立的PVC

   2. 部署Deployment。

      kubectl create -f disk-deployment.yaml

4. 驗證掛載結果。

   1. 確認Pod已經成功運行。

      kubectl get pods -l app=nginx-single

   2. 進入Pod內部，檢查/data目錄是否已成功掛載雲端硬碟。

      # 擷取Pod名稱
      POD_NAME=$(kubectl get pods -l app=nginx-single -o jsonpath='{.items[0].metadata.name}')
      
      # 執行df -h命令
      kubectl exec $POD_NAME -- df -h /data

      輸出如下，表明20GiB的雲端硬碟已成功掛載。

      Filesystem      Size  Used Avail Use% Mounted on
      /dev/vdb         20G   24K   20G   1% /data