Container Service for Kubernetes：使用strmvol儲存卷最佳化OSS小檔案讀取效能

建立PV。

1. 修改以下YAML，儲存為strmvol-pv.yaml。

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: pv-strmvol
   spec:
     capacity:
     # 掛載的OSS掛載點下最高可儲存16 TiB資料。
       storage: 20Gi
     # 僅支援ReadOnlyMany訪問模式。
     accessModes:
       - ReadOnlyMany
     # 為避免刪除遠端資料，目前僅支援Retain。 
     persistentVolumeReclaimPolicy: Retain
     csi:
       driver: strmvolplugin.csi.alibabacloud.com
       volumeHandle: pv-strmvol
       # 使用準備工作中建立的secret。
       nodeStageSecretRef:
         name: strmvol-secret
         namespace: default
       volumeAttributes:
         bucket: cnfs-oss-test
         path: /subpath
         # strmvol儲存卷僅支援以內網訪問OSS資料。
         url: oss-cn-hangzhou-internal.aliyuncs.com
         umask: "000"
         directMode: "false"
         resourceLimit: "2c4g"

   • nodeStageSecretRef參數說明

     參數	是否必選	說明
     name	必選	儲存AccessKey資訊的Secret名稱。
     namespace	必選	儲存AccessKey資訊的Secret所在的命名空間。

   • volumeAttributes參數說明

     參數	是否必選	說明
     bucket	必選	需要掛載的OSS Bucket。
     path	可選	OSS Bucket掛載路徑，表示掛載時相對Bucket根檔案的目錄結構。 重要 掛載路徑的選擇應按照最小夠用原則。
     url	必選	掛載OSS的內網Endpoint。Endpoint以OSS控制台Bucket概覽頁為準，常見內網格式如下： http://oss-{{regionName}}-internal.aliyuncs.com或https://oss-{{regionName}}-internal.aliyuncs.com。 重要 vpc100-oss-{{regionName}}.aliyuncs.com的內網訪問連接埠格式已廢棄，請及時切換。
     umask	可選	掛載虛擬塊裝置後檔案系統預設許可權的掩碼。 如若您期望檔案系統的預設許可權為755，則umask應配置為022。
     directMode	可選	是否開啟direct模式。 "true"：開啟direct模式時，關閉預取與資料本機快取，適合小檔案隨機讀情境，如訓練集的隨機批量讀取。 "false"：預設關閉direct模式，適合小檔案順序讀、大檔案等通用情境。若您的業務沒有明顯資料讀取特性，請保持direct模式關閉。
     resourceLimit	可選	掛載虛擬塊裝置後能使用節點的最大資源限制。 如"2c4g"表示該虛擬塊裝置最多能佔用節點的2 vCPU、4GiB記憶體資源。 說明 記憶體主要用於資料預取與本機快取。開啟direct模式時，所需記憶體量會明顯低於預設值。 對非Alibaba Cloud Linux 3作業系統，資料讀取效能上限趨近，因此不推薦使用過高配置。具體請參見資料讀取效能測試。

2. 建立PV。

   kubectl create -f strmvol-pv.yaml

3. 確認PV狀態。

   kubectl get pv pv-strmvol

   預期返回如下：

   NAME         CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   VOLUMEATTRIBUTESCLASS   REASON   AGE
   pv-strmvol   20Gi       ROX            Retain           Available                          <unset>                          18s

建立PVC。

1. 修改以下YAML，儲存為strmvol-pvc-static.yaml。

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: pvc-strmvol
     namespace: default
   spec:
     # 以下配置需要與PV一致
     accessModes:
       - ReadOnlyMany
     resources:
       requests:
         storage: 20Gi
     volumeName: pv-strmvol

2. 建立PVC。

   kubectl create -f strmvol-pvc-static.yaml

3. 確認PVC狀態。

   kubectl get pvc pvc-strmvol

   預期返回如下，可以看到PVC已綁定PV。

   NAME            STATUS   VOLUME       CAPACITY   ACCESS MODES   STORAGECLASS   VOLUMEATTRIBUTESCLASS   AGE
   pvc-strmvol-2   Bound    pv-strmvol   20Gi       ROX                           <unset>                 16s

建立StorageClass。

1. 修改以下YAML，儲存為strmvol-sc.yaml。

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: strmvol-test
   parameters:
     # 使用準備工作中建立的secret。
     csi.storage.k8s.io/node-stage-secret-name: strmvol-secret  
     csi.storage.k8s.io/node-stage-secret-namespace: default
     bucket: cnfs-oss-test 
     path: /subpath
     # strmvol儲存卷僅支援以內網訪問OSS資料。
     url: oss-cn-hangzhou-internal.aliyuncs.com 
     umask: "000"
     directMode: "false"
     resourceLimit: "2c4g"
   provisioner: strmvolplugin.csi.alibabacloud.com
   # 為避免刪除遠端資料，目前僅支援Retain 
   reclaimPolicy: Retain
   volumeBindingMode: Immediate

   parameters中的相關參數說明如下：

   • 配置Secret

     參數	是否必選	說明
     csi.storage.k8s.io/node-stage-secret-name	必選	儲存AccessKey資訊的Secret名稱。
     csi.storage.k8s.io/node-stage-secret-namespace	必選	儲存AccessKey資訊的Secret所在的命名空間。

   • 配置儲存卷

     參數	是否必選	說明
     bucket	必選	需要掛載的OSS Bucket。
     path	可選	OSS Bucket掛載路徑，表示掛載時相對Bucket根檔案的目錄結構。 重要 掛載路徑的選擇應按照最小夠用原則。
     url	必選	掛載OSS的內網Endpoint。Endpoint以OSS控制台Bucket概覽頁為準，常見內網格式如下： http://oss-{{regionName}}-internal.aliyuncs.com或https://oss-{{regionName}}-internal.aliyuncs.com。 重要 vpc100-oss-{{regionName}}.aliyuncs.com的內網訪問連接埠格式已廢棄，請及時切換。
     umask	可選	掛載虛擬塊裝置後檔案系統預設許可權的掩碼。 如若您期望檔案系統的預設許可權為755，則umask應配置為022。
     directMode	可選	是否開啟direct模式。 "true"：開啟direct模式時，關閉預取與資料本機快取，適合小檔案隨機讀情境，如訓練集的隨機批量讀取。 "false"：預設關閉direct模式，適合小檔案順序讀、大檔案等通用情境。若您的業務沒有明顯資料讀取特性，請保持direct模式關閉。
     resourceLimit	可選	掛載虛擬塊裝置後能使用節點的最大資源限制。 如"2c4g"表示該虛擬塊裝置最多能佔用節點的2 vCPU、4GiB記憶體資源。 說明 記憶體主要用於資料預取與本機快取。開啟direct模式時，所需記憶體量會明顯低於預設值。 對非Alibaba Cloud Linux 3作業系統，資料讀取效能上限趨近，因此不推薦使用過高配置。具體請參見資料讀取效能測試。

2. 建立StorageClass。

   kubectl create -f strmvol-sc.yaml

建立PVC。

1. 修改以下YAML，儲存為strmvol-pvc-dynamic.yaml。

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: pvc-strmvol
     namespace: default
   spec:
     # 僅支援ReadOnlyMany訪問模式
     accessModes:
       - ReadOnlyMany
     # 指定StorageClass
     storageClassName: strmvol-test
     resources:
       requests:
         # 掛載的OSS掛載點下最高可儲存16 TiB資料
         storage: 20Gi

2. 建立PVC。

   kubectl create -f strmvol-pvc-dynamic.yaml

3. 確認PVC狀態。

   kubectl get pvc pvc-strmvol

   預期返回如下，可以看到PVC已綁定CSI自動建立的PV。

   NAME          STATUS   VOLUME                                         CAPACITY   ACCESS MODES   STORAGECLASS   VOLUMEATTRIBUTESCLASS   AGE
   pvc-strmvol   Bound    strmvol-d8d1d22a-e1d7-4caa-b875-54f378dec769   20Gi       ROX            strmvol-test   <unset>                 3m