Container Service for Kubernetes:Otimize a leitura de arquivos pequenos do OSS com volumes strmvol

Crie um PersistentVolume (PV).

1. Crie um arquivo chamado strmvol-pv.yaml com o seguinte conteúdo.

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: pv-strmvol
   spec:
     capacity:
     # The mounted OSS path can store a maximum of 16 TiB of data.
       storage: 20Gi
     # Only the ReadOnlyMany access mode is supported.
     accessModes:
       - ReadOnlyMany
     # To prevent accidental data loss, only the Retain policy is supported. 
     persistentVolumeReclaimPolicy: Retain
     csi:
       driver: strmvolplugin.csi.alibabacloud.com
       volumeHandle: pv-strmvol
       # Use the secret created in the prerequisite steps.
       nodeStageSecretRef:
         name: strmvol-secret
         namespace: default
       volumeAttributes:
         bucket: cnfs-oss-test
         path: /subpath
         # strmvol volumes only support accessing OSS data over an internal network.
         url: oss-cn-hangzhou-internal.aliyuncs.com
         umask: "000"
         directMode: "false"
         resourceLimit: "2c4g"

   • Parâmetros em nodeStageSecretRef

     Parâmetro	Obrigatório	Descrição
     name	Sim	Nome do secret que armazena as informações do AccessKey.
     namespace	Sim	Namespace do secret que contém as informações do AccessKey.

   • Parâmetros em volumeAttributes

     Parâmetro	Obrigatório	Descrição
     bucket	Sim	Bucket do OSS a ser montado.
     path	Não	Caminho do diretório a ser montado dentro do bucket do OSS. Este caminho é relativo à raiz do bucket. Importante Selecione um caminho de montagem baseado no princípio do menor privilégio.
     url	Sim	Endpoint interno para o OSS. Deve corresponder ao endpoint exibido na página Visão Geral do bucket no console do OSS. Formatos comuns para endpoints internos incluem: http://oss-{{regionName}}-internal.aliyuncs.com ou https://oss-{{regionName}}-internal.aliyuncs.com. Importante O formato de endpoint interno vpc100-oss-{{regionName}}.aliyuncs.com está obsoleto. Atualize para um novo formato o mais rápido possível.
     umask	Não	Máscara de permissão para o sistema de arquivos após a montagem do dispositivo de bloco virtual. Por exemplo, para definir as permissões padrão de arquivo como 755, defina umask como 022.
     directMode	Não	Define se o modo direto deve ser ativado. "true": Ativa o modo direto, que desabilita o pré-busca de dados e o cache local. Adequado para cenários de leitura aleatória, como leitura em lote aleatória de conjuntos de dados de treinamento. "false": Desativa o modo direto (padrão). Adequado para cenários de uso geral, como leituras sequenciais de arquivos pequenos ou leituras de arquivos grandes. Se sua aplicação não tiver um padrão específico de acesso a dados, mantenha este modo desativado.
     resourceLimit	Não	Recursos máximos do nó que o dispositivo de bloco virtual pode consumir. Por exemplo, "2c4g" indica que o dispositivo de bloco virtual pode usar até 2 vCPUs e 4 GiB de memória do nó. Nota A memória é usada principalmente para pré-busca de dados e cache local. Quando o modo direto está ativado, o uso de memória é significativamente menor que o valor predefinido. Para sistemas operacionais diferentes do Alibaba Cloud Linux 3, o desempenho de leitura é semelhante independentemente da configuração. Portanto, limites altos de recursos não são recomendados. Para mais informações, consulte Testes de desempenho de leitura de dados.

2. Crie o PV.

   kubectl create -f strmvol-pv.yaml

3. Verifique o status do PV.

   kubectl get pv pv-strmvol

   Saída esperada:

   NAME         CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   VOLUMEATTRIBUTESCLASS   REASON   AGE
   pv-strmvol   20Gi       ROX            Retain           Available                          <unset>                          18s

Crie um PersistentVolumeClaim (PVC).

1. Crie um arquivo chamado strmvol-pvc-static.yaml com o seguinte conteúdo.

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: pvc-strmvol
     namespace: default
   spec:
     # The following settings must match the PV configuration.
     accessModes:
       - ReadOnlyMany
     resources:
       requests:
         storage: 20Gi
     volumeName: pv-strmvol

2. Crie o PVC.

   kubectl create -f strmvol-pvc-static.yaml

3. Verifique o status do PVC.

   kubectl get pvc pvc-strmvol

   A saída esperada mostra que o PVC agora está vinculado ao PV.

   NAME            STATUS   VOLUME       CAPACITY   ACCESS MODES   STORAGECLASS   VOLUMEATTRIBUTESCLASS   AGE
   pvc-strmvol-2   Bound    pv-strmvol   20Gi       ROX                           <unset>                 16s

Crie uma StorageClass.

1. Crie um arquivo chamado strmvol-sc.yaml com o seguinte conteúdo.

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: strmvol-test
   parameters:
     # Use the secret created in the prerequisite steps.
     csi.storage.k8s.io/node-stage-secret-name: strmvol-secret  
     csi.storage.k8s.io/node-stage-secret-namespace: default
     bucket: cnfs-oss-test 
     path: /subpath
     # strmvol volumes only support accessing OSS data over an internal network.
     url: oss-cn-hangzhou-internal.aliyuncs.com 
     umask: "000"
     directMode: "false"
     resourceLimit: "2c4g"
   provisioner: strmvolplugin.csi.alibabacloud.com
   # To prevent accidental data loss, only the Retain policy is supported. 
   reclaimPolicy: Retain
   volumeBindingMode: Immediate

   Os parâmetros em parameters são descritos da seguinte forma:

   • Configuração do Secret

     Parâmetro	Obrigatório	Descrição
     csi.storage.k8s.io/node-stage-secret-name	Sim	Nome do secret que armazena as informações do AccessKey.
     csi.storage.k8s.io/node-stage-secret-namespace	Sim	Namespace do secret que contém as informações do AccessKey.

   • Configuração do volume

     Parâmetro	Obrigatório	Descrição
     bucket	Sim	Bucket do OSS a ser montado.
     path	Não	Caminho do diretório a ser montado dentro do bucket do OSS. Este caminho é relativo à raiz do bucket. Importante Selecione um caminho de montagem baseado no princípio do menor privilégio.
     url	Sim	Endpoint interno para o OSS. Deve corresponder ao endpoint exibido na página Visão Geral do bucket no console do OSS. Formatos comuns para endpoints internos incluem: http://oss-{{regionName}}-internal.aliyuncs.com ou https://oss-{{regionName}}-internal.aliyuncs.com. Importante O formato de endpoint interno vpc100-oss-{{regionName}}.aliyuncs.com está obsoleto. Atualize para um novo formato o mais rápido possível.
     umask	Não	Máscara de permissão para o sistema de arquivos após a montagem do dispositivo de bloco virtual. Por exemplo, para definir as permissões padrão de arquivo como 755, defina umask como 022.
     directMode	Não	Define se o modo direto deve ser ativado. "true": Ativa o modo direto, que desabilita o pré-busca de dados e o cache local. Adequado para cenários de leitura aleatória, como leitura em lote aleatória de conjuntos de dados de treinamento. "false": Desativa o modo direto (padrão). Adequado para cenários de uso geral, como leituras sequenciais de arquivos pequenos ou leituras de arquivos grandes. Se sua aplicação não tiver um padrão específico de acesso a dados, mantenha este modo desativado.
     resourceLimit	Não	Recursos máximos do nó que o dispositivo de bloco virtual pode consumir. Por exemplo, "2c4g" indica que o dispositivo de bloco virtual pode usar até 2 vCPUs e 4 GiB de memória do nó. Nota A memória é usada principalmente para pré-busca de dados e cache local. Quando o modo direto está ativado, o uso de memória é significativamente menor que o valor predefinido. Para sistemas operacionais diferentes do Alibaba Cloud Linux 3, o desempenho de leitura é semelhante independentemente da configuração. Portanto, limites altos de recursos não são recomendados. Para mais informações, consulte Testes de desempenho de leitura de dados.

2. Crie a StorageClass.

   kubectl create -f strmvol-sc.yaml

Crie um PVC.

1. Crie um arquivo chamado strmvol-pvc-dynamic.yaml com o seguinte conteúdo.

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: pvc-strmvol
     namespace: default
   spec:
     # Only the ReadOnlyMany access mode is supported.
     accessModes:
       - ReadOnlyMany
     # Specify the StorageClass.
     storageClassName: strmvol-test
     resources:
       requests:
         # The mounted OSS path can store a maximum of 16 TiB of data.
         storage: 20Gi

2. Crie o PVC.

   kubectl create -f strmvol-pvc-dynamic.yaml

3. Verifique o status do PVC.

   kubectl get pvc pvc-strmvol

   A saída esperada mostra que o PVC está vinculado a um PV provisionado automaticamente pelo driver CSI.

   NAME          STATUS   VOLUME                                         CAPACITY   ACCESS MODES   STORAGECLASS   VOLUMEATTRIBUTESCLASS   AGE
   pvc-strmvol   Bound    strmvol-d8d1d22a-e1d7-4caa-b875-54f378dec769   20Gi       ROX            strmvol-test   <unset>                 3m