strmvol volume overview - Container Service for Kubernetes: Central de Documentação do Alibaba Cloud

Use volumes strmvol para montar dados do Object Storage Service (OSS) por meio de dispositivos de bloco virtuais. Isso melhora o desempenho de leitura em cenários com uma quantidade extremamente grande de objetos do OSS montados.

Visão geral da solução

O OSS oferece suporte ao armazenamento massivo de dados e ao modelo de pagamento conforme o uso, além de fornecer recursos de acesso convenientes baseados no protocolo HTTP. Em cenários containerizados, geralmente se utiliza um sistema de arquivos FUSE para montar dados do OSS. Para cenários de leitura de arquivos pequenos, use a solução de dispositivo de bloco virtual para montar os dados do OSS como volumes strmvol.

Os volumes strmvol permitem o acesso aos dados do OSS por meio de dispositivos de bloco virtuais. Essa solução resolve os gargalos de desempenho na camada intermediária do FUSE e permite acessar diretamente a camada do driver de armazenamento para acelerar o acesso aos dados. É a solução ideal para cenários que exigem a varredura rápida de milhões de arquivos pequenos, como o carregamento de conjuntos de dados para treinamento de IA e a análise de dados de séries temporais.

Características da solução com FUSE

Esta solução utiliza um sistema de arquivos FUSE, como o ossfs. Características:

Detecta alterações de dados no servidor OSS. Se você desativar o cache de metadados, as alterações de dados entram em vigor em tempo real.
Suporta operações de gravação. Também há suporte para informações estendidas do sistema de arquivos, incluindo group ID (gid) e user ID (uid).
Direciona as solicitações de leitura e gravação para o cliente ossfs através da camada FUSE. Cenários com picos altos de solicitações, como a varredura de vários arquivos pequenos, consomem muita sobrecarga de desempenho.
Nas versões anteriores do plug-in Container Storage Interface (CSI), o cliente ossfs era executado como um processo no nó em que residia. Na versão atual do plug-in CSI, o cliente ossfs é executado como um pod separado no cluster. Os pods no mesmo nó e volume persistente (PV) compartilham o mesmo cliente ossfs para acesso ao OSS.

Características da solução de dispositivo de bloco virtual

Esta solução é baseada no dispositivo de bloco virtual subjacente e no sistema de arquivos em estado de kernel, como o Enhanced Read-Only File System (EROFS). Características:

Recupera e indexa todos os metadados de arquivos no destino de montagem do bucket do OSS durante a inicialização. A versão atual não suporta sincronização de dados para o servidor OSS durante a execução.
Não suporta a análise de informações estendidas para objetos do OSS em cenários de somente leitura.
Elimina a sobrecarga de desempenho na camada FUSE. Utiliza o tamanho de memória predefinido como meio de armazenamento de dados para acelerar a pré-busca em cenários de leitura de arquivos pequenos.
Exige um DaemonSet adicional chamado strmvold para que você gerencie os dispositivos de bloco virtuais nos nós, além do plug-in CSI. Após a anexação dos dispositivos aos nós, os recursos predefinidos do nó são ocupados para o cache de dados.

Cenários

Se a sua carga de trabalho atender aos seguintes requisitos, use a solução de dispositivo de bloco virtual (volumes strmvol).

Nota

A solução que utiliza FUSE é adequada para a maioria dos cenários. Para mais informações, consulte Use an ossfs 1.0 static volume, Use ossfs 1.0 dynamic volumes e Use ossfs 2.0 volumes.

Os dados estão armazenados em buckets do OSS e não precisam ser atualizados durante a execução da carga de trabalho.
A sua carga de trabalho não é sensível às informações estendidas do sistema de arquivos.
Cenários de somente leitura, especialmente aqueles que envolvem vários arquivos pequenos ou leituras aleatórias.

Como usar volumes strmvol

Antes de usar volumes strmvol, instale o componente strmvol-csi-driver na página Marketplace no console do Container Service for Kubernetes (ACK). Após implantar o strmvol-csi-driver, os seguintes recursos são criados.

Nome do recurso	Tipo de recurso	Funcionalidade
strmvold	DaemonSet	Gerencia os dispositivos de bloco virtuais no nó.
strmvol-csi-plugin	DaemonSet	Implementa a montagem e desmontagem de volumes strmvol.
strmvol-csi-provisioner	Deployment	Cria volumes strmvol dinamicamente.