strmvol volume overview - Container Service for Kubernetes: Central de Documentação do Alibaba Cloud

Use volumes strmvol para montar dados do Object Storage Service (OSS) por meio de dispositivos de bloco virtuais. Essa abordagem melhora o desempenho de leitura em cenários que exigem a montagem de uma quantidade extremamente grande de objetos do OSS.

Visão geral da solução

O OSS oferece armazenamento massivo de dados e modelo de faturamento pagamento conforme o uso, além de recursos práticos de acesso baseados no protocolo HTTP. Em ambientes containerizados, é comum utilizar um sistema de arquivos FUSE para montar dados do OSS. Para cenários de leitura de arquivos pequenos, utilize a solução de dispositivo de bloco virtual para montar os dados do OSS como volumes strmvol.

Os volumes strmvol permitem o acesso aos dados do OSS por meio de dispositivos de bloco virtuais. Essa solução elimina gargalos de desempenho na camada intermediária do FUSE e acessa diretamente a camada do driver de armazenamento para acelerar o acesso aos dados. É ideal para casos de uso que exigem varredura rápida de milhões de arquivos pequenos, como carregamento de conjuntos de dados para treinamento de IA e análise de séries temporais.

Características da solução com FUSE

Esta solução utiliza um sistema de arquivos FUSE, como o ossfs. Principais características:

Detecta alterações de dados no servidor OSS. Se você desativar o cache de metadados, as mudanças entram em vigor em tempo real.
Suporta operações de escrita e informações estendidas do sistema de arquivos, incluindo group ID (gid) e user ID (uid).
Encaminha solicitações de leitura e escrita ao cliente ossfs pela camada FUSE. Cenários com picos elevados de requisições, como a varredura de muitos arquivos pequenos, geram alto custo de desempenho.
Nas versões anteriores do plug-in Container Storage Interface (CSI), o cliente ossfs era executado como um processo no nó residente. Na versão atual, ele roda como um pod separado no cluster. Pods no mesmo nó e persistent volume (PV) compartilham o mesmo cliente ossfs para acesso ao OSS.

Características da solução de dispositivo de bloco virtual

Esta solução baseia-se no dispositivo de bloco virtual subjacente e em sistemas de arquivos em espaço de kernel, como o Enhanced Read-Only File System (EROFS). Principais características:

Recupera e indexa todos os metadados dos arquivos no destino de montagem do bucket do OSS durante a inicialização. A versão atual não suporta sincronização de dados com o servidor OSS durante a execução.
Não analisa informações estendidas de objetos do OSS em cenários somente leitura.
Elimina a sobrecarga de desempenho da camada FUSE. Utiliza um tamanho de memória predefinido como meio de armazenamento para acelerar o prefetching na leitura de arquivos pequenos.
Exige um DaemonSet adicional chamado strmvold, além do plug-in CSI, para gerencie os dispositivos de bloco virtuais nos nós. Após a anexação dos dispositivos aos nós, os recursos predefinidos do nó são ocupados para cache de dados.

Cenários de uso

Utilize a solução de dispositivo de bloco virtual (volumes strmvol) se o seu negócio atender aos seguintes requisitos:

Nota

A solução baseada em FUSE atende à maioria dos cenários. Para mais informações, consulte Usar um volume estático do ossfs 1.0, Usar volumes dinâmicos do ossfs 1.0 e Usar volumes do ossfs 2.0.

Os dados residem em buckets do OSS e não precisam de atualização durante a execução do negócio.
O negócio não depende das informações estendidas do sistema de arquivos.
Casos de uso somente leitura, especialmente aqueles que envolvem muitos arquivos pequenos ou leituras aleatórias.

Como usar volumes strmvol

Antes de utilizar volumes strmvol, instale o componente strmvol-csi-driver na página Marketplace no console do Container Service for Kubernetes (ACK). Após implantar o strmvol-csi-driver, os seguintes resources serão criados:

Nome do resource	Tipo de resource	Recurso
strmvold	DaemonSet	Gerencia os dispositivos de bloco virtuais no nó.
strmvol-csi-plugin	DaemonSet	Implementa a montagem e desmontagem de volumes strmvol.
strmvol-csi-provisioner	Deployment	Implementa a criação dinâmica de volumes strmvol.