Container Service for Kubernetes:Optimize OSS small file reads with strmvol volumes

Crie um PersistentVolume (PV).

1. Crie um arquivo chamado strmvol-pv.yaml.

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: pv-strmvol
   spec:
     capacity:
     # The mounted OSS path can store a maximum of 16 TiB of data.
       storage: 20Gi
     # Only the ReadOnlyMany access mode is supported.
     accessModes:
       - ReadOnlyMany
     # To prevent accidental data loss, only the Retain policy is supported. 
     persistentVolumeReclaimPolicy: Retain
     csi:
       driver: strmvolplugin.csi.alibabacloud.com
       volumeHandle: pv-strmvol
       # Use the secret created in the prerequisite steps.
       nodeStageSecretRef:
         name: strmvol-secret
         namespace: default
       volumeAttributes:
         bucket: cnfs-oss-test
         path: /subpath
         # strmvol volumes only support accessing OSS data over an internal network.
         url: oss-cn-hangzhou-internal.aliyuncs.com
         umask: "000"
         directMode: "false"
         resourceLimit: "2c4g"

   • Parâmetros em nodeStageSecretRef

     Parâmetro	Obrigatório	Descrição
     name	Sim	O nome do secret para a AccessKey.
     namespace	Sim	O namespace do secret da AccessKey.

   • Parâmetros em volumeAttributes

     Parâmetro	Obrigatório	Descrição
     bucket	Sim	O bucket do OSS a ser montado.
     path	Não	O caminho do diretório dentro do bucket do OSS, em relação à raiz do bucket. Importante Selecione um caminho de montagem com base no princípio do menor privilégio.
     url	Sim	O endpoint interno do OSS. Deve corresponder ao endpoint na página Visão Geral do bucket no console do OSS. Formatos comuns: http://oss-{{regionName}}-internal.aliyuncs.com ou https://oss-{{regionName}}-internal.aliyuncs.com. Importante O formato vpc100-oss-{{regionName}}.aliyuncs.com foi descontinuado. Atualize para um formato suportado.
     umask	Não	A máscara de permissão para o sistema de arquivos após a montagem do dispositivo de bloco virtual. Por exemplo, defina umask como 022 para permissões de arquivo 755.
     directMode	Não	Especifica se o modo direto deve ser ativado. "true": Ativa o modo direto, desabilitando o pré-carregamento de dados e o cache local. Adequado para cenários de leitura aleatória, como a leitura em lote de conjuntos de dados de treinamento. "false": Desativa o modo direto (padrão). Adequado para cenários de uso geral, como leituras sequenciais de arquivos pequenos ou leituras de arquivos grandes. Use esta opção se o seu aplicativo não tiver um padrão de acesso específico.
     resourceLimit	Não	Os recursos máximos do nó que o dispositivo de bloco virtual pode consumir. Por exemplo, "2c4g" significa até 2 vCPUs e 4 GiB de memória. Nota A memória é usada para pré-carregamento e armazenamento em cache de dados. No modo direto, o uso de memória é muito menor do que o valor predefinido. Para sistemas que não sejam Alibaba Cloud Linux 3, o desempenho de leitura varia pouco conforme a configuração. Limites altos de recursos não são recomendados. Consulte Data read performance tests.

2. Crie o PV.

   kubectl create -f strmvol-pv.yaml

3. Verifique o status do PV.

   kubectl get pv pv-strmvol

   Saída esperada:

   NAME         CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   VOLUMEATTRIBUTESCLASS   REASON   AGE
   pv-strmvol   20Gi       ROX            Retain           Available                          <unset>                          18s

Crie um PersistentVolumeClaim (PVC).

1. Crie um arquivo chamado strmvol-pvc-static.yaml.

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: pvc-strmvol
     namespace: default
   spec:
     # The following settings must match the PV configuration.
     accessModes:
       - ReadOnlyMany
     resources:
       requests:
         storage: 20Gi
     volumeName: pv-strmvol

2. Crie o PVC.

   kubectl create -f strmvol-pvc-static.yaml

3. Verifique o status do PVC.

   kubectl get pvc pvc-strmvol

   A saída mostra que o PVC está vinculado ao PV.

   NAME            STATUS   VOLUME       CAPACITY   ACCESS MODES   STORAGECLASS   VOLUMEATTRIBUTESCLASS   AGE
   pvc-strmvol-2   Bound    pv-strmvol   20Gi       ROX                           <unset>                 16s

Crie uma StorageClass.

1. Crie um arquivo chamado strmvol-sc.yaml.

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: strmvol-test
   parameters:
     # Use the secret created in the prerequisite steps.
     csi.storage.k8s.io/node-stage-secret-name: strmvol-secret  
     csi.storage.k8s.io/node-stage-secret-namespace: default
     bucket: cnfs-oss-test 
     path: /subpath
     # strmvol volumes only support accessing OSS data over an internal network.
     url: oss-cn-hangzhou-internal.aliyuncs.com 
     umask: "000"
     directMode: "false"
     resourceLimit: "2c4g"
   provisioner: strmvolplugin.csi.alibabacloud.com
   # To prevent accidental data loss, only the Retain policy is supported. 
   reclaimPolicy: Retain
   volumeBindingMode: Immediate

   Campos de parameters:

   • Configuração do secret

     Parâmetro	Obrigatório	Descrição
     csi.storage.k8s.io/node-stage-secret-name	Sim	O nome do secret para a AccessKey.
     csi.storage.k8s.io/node-stage-secret-namespace	Sim	O namespace do secret da AccessKey.

   • Configuração do volume

     Parâmetro	Obrigatório	Descrição
     bucket	Sim	O bucket do OSS a ser montado.
     path	Não	O caminho do diretório dentro do bucket do OSS, em relação à raiz do bucket. Importante Selecione um caminho de montagem com base no princípio do menor privilégio.
     url	Sim	O endpoint interno do OSS. Deve corresponder ao endpoint na página Visão Geral do bucket no console do OSS. Formatos comuns: http://oss-{{regionName}}-internal.aliyuncs.com ou https://oss-{{regionName}}-internal.aliyuncs.com. Importante O formato vpc100-oss-{{regionName}}.aliyuncs.com foi descontinuado. Atualize para um formato suportado.
     umask	Não	A máscara de permissão para o sistema de arquivos após a montagem do dispositivo de bloco virtual. Por exemplo, defina umask como 022 para permissões de arquivo 755.
     directMode	Não	Especifica se o modo direto deve ser ativado. "true": Ativa o modo direto, desabilitando o pré-carregamento de dados e o cache local. Adequado para cenários de leitura aleatória, como a leitura em lote de conjuntos de dados de treinamento. "false": Desativa o modo direto (padrão). Adequado para cenários de uso geral, como leituras sequenciais de arquivos pequenos ou leituras de arquivos grandes. Use esta opção se o seu aplicativo não tiver um padrão de acesso específico.
     resourceLimit	Não	Os recursos máximos do nó que o dispositivo de bloco virtual pode consumir. Por exemplo, "2c4g" significa até 2 vCPUs e 4 GiB de memória. Nota A memória é usada para pré-carregamento e armazenamento em cache de dados. No modo direto, o uso de memória é muito menor do que o valor predefinido. Para sistemas que não sejam Alibaba Cloud Linux 3, o desempenho de leitura varia pouco conforme a configuração. Limites altos de recursos não são recomendados. Consulte Data read performance tests.

2. Crie a StorageClass.

   kubectl create -f strmvol-sc.yaml

Crie um PVC.

1. Crie um arquivo chamado strmvol-pvc-dynamic.yaml.

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: pvc-strmvol
     namespace: default
   spec:
     # Only the ReadOnlyMany access mode is supported.
     accessModes:
       - ReadOnlyMany
     # Specify the StorageClass.
     storageClassName: strmvol-test
     resources:
       requests:
         # The mounted OSS path can store a maximum of 16 TiB of data.
         storage: 20Gi

2. Crie o PVC.

   kubectl create -f strmvol-pvc-dynamic.yaml

3. Verifique o status do PVC.

   kubectl get pvc pvc-strmvol

   A saída mostra o PVC vinculado a um PV provisionado automaticamente.

   NAME          STATUS   VOLUME                                         CAPACITY   ACCESS MODES   STORAGECLASS   VOLUMEATTRIBUTESCLASS   AGE
   pvc-strmvol   Bound    strmvol-d8d1d22a-e1d7-4caa-b875-54f378dec769   20Gi       ROX            strmvol-test   <unset>                 3m