Container Service for Kubernetes:Optimize OSS small file reads with strmvol volumes

Créez un PersistentVolume (PV).

1. Créez un fichier nommé strmvol-pv.yaml avec le contenu suivant.

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: pv-strmvol
   spec:
     capacity:
     # The mounted OSS path can store a maximum of 16 TiB of data.
       storage: 20Gi
     # Only the ReadOnlyMany access mode is supported.
     accessModes:
       - ReadOnlyMany
     # To prevent accidental data loss, only the Retain policy is supported. 
     persistentVolumeReclaimPolicy: Retain
     csi:
       driver: strmvolplugin.csi.alibabacloud.com
       volumeHandle: pv-strmvol
       # Use the secret created in the prerequisite steps.
       nodeStageSecretRef:
         name: strmvol-secret
         namespace: default
       volumeAttributes:
         bucket: cnfs-oss-test
         path: /subpath
         # strmvol volumes only support accessing OSS data over an internal network.
         url: oss-cn-hangzhou-internal.aliyuncs.com
         umask: "000"
         directMode: "false"
         resourceLimit: "2c4g"

   • Paramètres dans nodeStageSecretRef

     Parameter	Required	Description
     name	Yes	Le nom du secret qui stocke les informations AccessKey.
     namespace	Yes	L'espace de noms du secret contenant les informations AccessKey.

   • Paramètres dans volumeAttributes

     Parameter	Required	Description
     bucket	Yes	Le bucket OSS à monter.
     path	No	Le chemin du répertoire à monter dans le bucket OSS. Ce chemin est relatif à la racine du bucket. Important Sélectionnez un chemin de montage en appliquant le principe du moindre privilège.
     url	Yes	L'endpoint interne pour OSS. Il doit correspondre à l'endpoint affiché sur la page Overview du bucket dans la console OSS. Les formats courants pour les endpoints internes incluent : http://oss-{{regionName}}-internal.aliyuncs.com ou https://oss-{{regionName}}-internal.aliyuncs.com. Important Le format d'endpoint interne vpc100-oss-{{regionName}}.aliyuncs.com est obsolète. Mettez à jour vers un nouveau format dès que possible.
     umask	No	Le masque de permission pour le système de fichiers après le montage du périphérique bloc virtuel. Par exemple, pour définir les permissions de fichier par défaut sur 755, définissez umask sur 022.
     directMode	No	Spécifie s'il faut activer le mode direct. "true" : Active le mode direct, ce qui désactive la prélecture des données et la mise en cache locale. Cela convient aux scénarios de lecture aléatoire, tels que la lecture par lots aléatoire de jeux de données d'entraînement. "false" : Désactive le mode direct (par défaut). Cela convient aux scénarios à usage général, tels que les lectures séquentielles de petits fichiers ou les lectures de grands fichiers. Si votre application n'a pas de schéma d'accès aux données spécifique, laissez ce mode désactivé.
     resourceLimit	No	Les ressources maximales du nœud que le périphérique bloc virtuel peut consommer. Par exemple, "2c4g" indique que le périphérique bloc virtuel peut utiliser jusqu'à 2 vCPU et 4 GiB de mémoire du nœud. Remarque La mémoire est principalement utilisée pour la prélecture des données et la mise en cache locale. Lorsque le mode direct est activé, l'utilisation de la mémoire est nettement inférieure à la valeur prédéfinie. Pour les systèmes d'exploitation autres qu'Alibaba Cloud Linux 3, les performances de lecture sont similaires quelle que soit la configuration. Par conséquent, des limites de ressources élevées ne sont pas recommandées. Pour plus d'informations, consultez Tests de performances de lecture des données.

2. Créez le PV.

   kubectl create -f strmvol-pv.yaml

3. Vérifiez l'état du PV.

   kubectl get pv pv-strmvol

   Sortie attendue :

   NAME         CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   VOLUMEATTRIBUTESCLASS   REASON   AGE
   pv-strmvol   20Gi       ROX            Retain           Available                          <unset>                          18s

Créez un PersistentVolumeClaim (PVC).

1. Créez un fichier nommé strmvol-pvc-static.yaml avec le contenu suivant.

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: pvc-strmvol
     namespace: default
   spec:
     # The following settings must match the PV configuration.
     accessModes:
       - ReadOnlyMany
     resources:
       requests:
         storage: 20Gi
     volumeName: pv-strmvol

2. Créez le PVC.

   kubectl create -f strmvol-pvc-static.yaml

3. Vérifiez l'état du PVC.

   kubectl get pvc pvc-strmvol

   La sortie attendue indique que le PVC est désormais lié au PV.

   NAME            STATUS   VOLUME       CAPACITY   ACCESS MODES   STORAGECLASS   VOLUMEATTRIBUTESCLASS   AGE
   pvc-strmvol-2   Bound    pv-strmvol   20Gi       ROX                           <unset>                 16s

Créez une StorageClass.

1. Créez un fichier nommé strmvol-sc.yaml avec le contenu suivant.

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: strmvol-test
   parameters:
     # Use the secret created in the prerequisite steps.
     csi.storage.k8s.io/node-stage-secret-name: strmvol-secret  
     csi.storage.k8s.io/node-stage-secret-namespace: default
     bucket: cnfs-oss-test 
     path: /subpath
     # strmvol volumes only support accessing OSS data over an internal network.
     url: oss-cn-hangzhou-internal.aliyuncs.com 
     umask: "000"
     directMode: "false"
     resourceLimit: "2c4g"
   provisioner: strmvolplugin.csi.alibabacloud.com
   # To prevent accidental data loss, only the Retain policy is supported. 
   reclaimPolicy: Retain
   volumeBindingMode: Immediate

   Les paramètres dans parameters sont décrits ci-dessous :

   • Configuration du secret

     Parameter	Required	Description
     csi.storage.k8s.io/node-stage-secret-name	Yes	Le nom du secret qui stocke les informations AccessKey.
     csi.storage.k8s.io/node-stage-secret-namespace	Yes	L'espace de noms du secret contenant les informations AccessKey.

   • Configuration du volume

     Parameter	Required	Description
     bucket	Yes	Le bucket OSS à monter.
     path	No	Le chemin du répertoire à monter dans le bucket OSS. Ce chemin est relatif à la racine du bucket. Important Sélectionnez un chemin de montage en appliquant le principe du moindre privilège.
     url	Yes	L'endpoint interne pour OSS. Il doit correspondre à l'endpoint affiché sur la page Overview du bucket dans la console OSS. Les formats courants pour les endpoints internes incluent : http://oss-{{regionName}}-internal.aliyuncs.com ou https://oss-{{regionName}}-internal.aliyuncs.com. Important Le format d'endpoint interne vpc100-oss-{{regionName}}.aliyuncs.com est obsolète. Mettez à jour vers un nouveau format dès que possible.
     umask	No	Le masque de permission pour le système de fichiers après le montage du périphérique bloc virtuel. Par exemple, pour définir les permissions de fichier par défaut sur 755, définissez umask sur 022.
     directMode	No	Spécifie s'il faut activer le mode direct. "true" : Active le mode direct, ce qui désactive la prélecture des données et la mise en cache locale. Cela convient aux scénarios de lecture aléatoire, tels que la lecture par lots aléatoire de jeux de données d'entraînement. "false" : Désactive le mode direct (par défaut). Cela convient aux scénarios à usage général, tels que les lectures séquentielles de petits fichiers ou les lectures de grands fichiers. Si votre application n'a pas de schéma d'accès aux données spécifique, laissez ce mode désactivé.
     resourceLimit	No	Les ressources maximales du nœud que le périphérique bloc virtuel peut consommer. Par exemple, "2c4g" indique que le périphérique bloc virtuel peut utiliser jusqu'à 2 vCPU et 4 GiB de mémoire du nœud. Remarque La mémoire est principalement utilisée pour la prélecture des données et la mise en cache locale. Lorsque le mode direct est activé, l'utilisation de la mémoire est nettement inférieure à la valeur prédéfinie. Pour les systèmes d'exploitation autres qu'Alibaba Cloud Linux 3, les performances de lecture sont similaires quelle que soit la configuration. Par conséquent, des limites de ressources élevées ne sont pas recommandées. Pour plus d'informations, consultez Tests de performances de lecture des données.

2. Créez la StorageClass.

   kubectl create -f strmvol-sc.yaml

Créez un PVC.

1. Créez un fichier nommé strmvol-pvc-dynamic.yaml avec le contenu suivant.

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: pvc-strmvol
     namespace: default
   spec:
     # Only the ReadOnlyMany access mode is supported.
     accessModes:
       - ReadOnlyMany
     # Specify the StorageClass.
     storageClassName: strmvol-test
     resources:
       requests:
         # The mounted OSS path can store a maximum of 16 TiB of data.
         storage: 20Gi

2. Créez le PVC.

   kubectl create -f strmvol-pvc-dynamic.yaml

3. Vérifiez l'état du PVC.

   kubectl get pvc pvc-strmvol

   La sortie attendue indique que le PVC est lié à un PV provisionné automatiquement par le pilote CSI.

   NAME          STATUS   VOLUME                                         CAPACITY   ACCESS MODES   STORAGECLASS   VOLUMEATTRIBUTESCLASS   AGE
   pvc-strmvol   Bound    strmvol-d8d1d22a-e1d7-4caa-b875-54f378dec769   20Gi       ROX            strmvol-test   <unset>                 3m