Container Service for Kubernetes:Optimize OSS small file reads with strmvol volumes

Cree un PersistentVolume (PV).

1. Cree un archivo llamado strmvol-pv.yaml con el siguiente contenido.

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: pv-strmvol
   spec:
     capacity:
     # The mounted OSS path can store a maximum of 16 TiB of data.
       storage: 20Gi
     # Only the ReadOnlyMany access mode is supported.
     accessModes:
       - ReadOnlyMany
     # To prevent accidental data loss, only the Retain policy is supported. 
     persistentVolumeReclaimPolicy: Retain
     csi:
       driver: strmvolplugin.csi.alibabacloud.com
       volumeHandle: pv-strmvol
       # Use the secret created in the prerequisite steps.
       nodeStageSecretRef:
         name: strmvol-secret
         namespace: default
       volumeAttributes:
         bucket: cnfs-oss-test
         path: /subpath
         # strmvol volumes only support accessing OSS data over an internal network.
         url: oss-cn-hangzhou-internal.aliyuncs.com
         umask: "000"
         directMode: "false"
         resourceLimit: "2c4g"

   • Parámetros en nodeStageSecretRef

     Parámetro	Obligatorio	Descripción
     name	Sí	Nombre del secret que almacena la información de la AccessKey.
     namespace	Sí	Namespace del secret que contiene la información de la AccessKey.

   • Parámetros en volumeAttributes

     Parámetro	Obligatorio	Descripción
     bucket	Sí	El bucket de OSS que se va a montar.
     path	No	La ruta del directorio que se va a montar dentro del bucket de OSS. Esta ruta es relativa a la raíz del bucket. Importante Seleccione una ruta de montaje basada en el principio de menor privilegio.
     url	Sí	El endpoint interno para OSS. Debe coincidir con el endpoint mostrado en la página Overview del bucket en la consola de OSS. Los formatos comunes para endpoints internos incluyen: http://oss-{{regionName}}-internal.aliyuncs.com o https://oss-{{regionName}}-internal.aliyuncs.com. Importante El formato de endpoint interno vpc100-oss-{{regionName}}.aliyuncs.com está obsoleto. Actualice a un nuevo formato lo antes posible.
     umask	No	La máscara de permisos para el sistema de archivos después de montar el dispositivo de bloque virtual. Por ejemplo, para establecer los permisos predeterminados de archivo en 755, configure umask en 022.
     directMode	No	Especifica si se habilita el modo directo. "true": Habilita el modo directo, lo que desactiva la precarga de datos y el almacenamiento en caché local. Es adecuado para escenarios de lectura aleatoria, como la lectura por lotes aleatorios de conjuntos de datos de entrenamiento. "false": Desactiva el modo directo (predeterminado). Es adecuado para escenarios de propósito general, como lecturas secuenciales de archivos pequeños o lecturas de archivos grandes. Si su aplicación no tiene un patrón específico de acceso a datos, mantenga este modo desactivado.
     resourceLimit	No	Los recursos máximos del nodo que puede consumir el dispositivo de bloque virtual. Por ejemplo, "2c4g" indica que el dispositivo de bloque virtual puede usar hasta 2 vCPU y 4 GiB de memoria del nodo. Nota La memoria se utiliza principalmente para la precarga de datos y el almacenamiento en caché local. Cuando el modo directo está habilitado, el uso de memoria es significativamente menor que el valor preestablecido. Para sistemas operativos distintos de Alibaba Cloud Linux 3, el rendimiento de lectura es similar independientemente de la configuración. Por lo tanto, no se recomiendan límites de recursos altos. Para más información, consulte Data read performance tests.

2. Cree el PV.

   kubectl create -f strmvol-pv.yaml

3. Compruebe el estado del PV.

   kubectl get pv pv-strmvol

   Salida esperada:

   NAME         CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   VOLUMEATTRIBUTESCLASS   REASON   AGE
   pv-strmvol   20Gi       ROX            Retain           Available                          <unset>                          18s

Cree un PersistentVolumeClaim (PVC).

1. Cree un archivo llamado strmvol-pvc-static.yaml con el siguiente contenido.

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: pvc-strmvol
     namespace: default
   spec:
     # The following settings must match the PV configuration.
     accessModes:
       - ReadOnlyMany
     resources:
       requests:
         storage: 20Gi
     volumeName: pv-strmvol

2. Cree el PVC.

   kubectl create -f strmvol-pvc-static.yaml

3. Compruebe el estado del PVC.

   kubectl get pvc pvc-strmvol

   La salida esperada muestra que el PVC ahora está vinculado al PV.

   NAME            STATUS   VOLUME       CAPACITY   ACCESS MODES   STORAGECLASS   VOLUMEATTRIBUTESCLASS   AGE
   pvc-strmvol-2   Bound    pv-strmvol   20Gi       ROX                           <unset>                 16s

Cree una StorageClass.

1. Cree un archivo llamado strmvol-sc.yaml con el siguiente contenido.

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: strmvol-test
   parameters:
     # Use the secret created in the prerequisite steps.
     csi.storage.k8s.io/node-stage-secret-name: strmvol-secret  
     csi.storage.k8s.io/node-stage-secret-namespace: default
     bucket: cnfs-oss-test 
     path: /subpath
     # strmvol volumes only support accessing OSS data over an internal network.
     url: oss-cn-hangzhou-internal.aliyuncs.com 
     umask: "000"
     directMode: "false"
     resourceLimit: "2c4g"
   provisioner: strmvolplugin.csi.alibabacloud.com
   # To prevent accidental data loss, only the Retain policy is supported. 
   reclaimPolicy: Retain
   volumeBindingMode: Immediate

   Los parámetros en parameters se describen a continuación:

   • Configuración del secret

     Parámetro	Obligatorio	Descripción
     csi.storage.k8s.io/node-stage-secret-name	Sí	Nombre del secret que almacena la información de la AccessKey.
     csi.storage.k8s.io/node-stage-secret-namespace	Sí	Namespace del secret que contiene la información de la AccessKey.

   • Configuración del volumen

     Parámetro	Obligatorio	Descripción
     bucket	Sí	El bucket de OSS que se va a montar.
     path	No	La ruta del directorio que se va a montar dentro del bucket de OSS. Esta ruta es relativa a la raíz del bucket. Importante Seleccione una ruta de montaje basada en el principio de menor privilegio.
     url	Sí	El endpoint interno para OSS. Debe coincidir con el endpoint mostrado en la página Overview del bucket en la consola de OSS. Los formatos comunes para endpoints internos incluyen: http://oss-{{regionName}}-internal.aliyuncs.com o https://oss-{{regionName}}-internal.aliyuncs.com. Importante El formato de endpoint interno vpc100-oss-{{regionName}}.aliyuncs.com está obsoleto. Actualice a un nuevo formato lo antes posible.
     umask	No	La máscara de permisos para el sistema de archivos después de montar el dispositivo de bloque virtual. Por ejemplo, para establecer los permisos predeterminados de archivo en 755, configure umask en 022.
     directMode	No	Especifica si se habilita el modo directo. "true": Habilita el modo directo, lo que desactiva la precarga de datos y el almacenamiento en caché local. Es adecuado para escenarios de lectura aleatoria, como la lectura por lotes aleatorios de conjuntos de datos de entrenamiento. "false": Desactiva el modo directo (predeterminado). Es adecuado para escenarios de propósito general, como lecturas secuenciales de archivos pequeños o lecturas de archivos grandes. Si su aplicación no tiene un patrón específico de acceso a datos, mantenga este modo desactivado.
     resourceLimit	No	Los recursos máximos del nodo que puede consumir el dispositivo de bloque virtual. Por ejemplo, "2c4g" indica que el dispositivo de bloque virtual puede usar hasta 2 vCPU y 4 GiB de memoria del nodo. Nota La memoria se utiliza principalmente para la precarga de datos y el almacenamiento en caché local. Cuando el modo directo está habilitado, el uso de memoria es significativamente menor que el valor preestablecido. Para sistemas operativos distintos de Alibaba Cloud Linux 3, el rendimiento de lectura es similar independientemente de la configuración. Por lo tanto, no se recomiendan límites de recursos altos. Para más información, consulte Data read performance tests.

2. Cree la StorageClass.

   kubectl create -f strmvol-sc.yaml

Cree un PVC.

1. Cree un archivo llamado strmvol-pvc-dynamic.yaml con el siguiente contenido.

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: pvc-strmvol
     namespace: default
   spec:
     # Only the ReadOnlyMany access mode is supported.
     accessModes:
       - ReadOnlyMany
     # Specify the StorageClass.
     storageClassName: strmvol-test
     resources:
       requests:
         # The mounted OSS path can store a maximum of 16 TiB of data.
         storage: 20Gi

2. Cree el PVC.

   kubectl create -f strmvol-pvc-dynamic.yaml

3. Compruebe el estado del PVC.

   kubectl get pvc pvc-strmvol

   La salida esperada muestra que el PVC está vinculado a un PV aprovisionado automáticamente por el controlador CSI.

   NAME          STATUS   VOLUME                                         CAPACITY   ACCESS MODES   STORAGECLASS   VOLUMEATTRIBUTESCLASS   AGE
   pvc-strmvol   Bound    strmvol-d8d1d22a-e1d7-4caa-b875-54f378dec769   20Gi       ROX            strmvol-test   <unset>                 3m