strmvol - Container Service for Kubernetes - Centro de documentación de Alibaba Cloud

Los volúmenes strmvol permiten montar datos de Object Storage Service (OSS) mediante dispositivos de bloque virtuales. Esto mejora el rendimiento de lectura en escenarios donde se monta una cantidad extremadamente grande de objetos de OSS.

Descripción general de la solución

OSS admite el almacenamiento masivo de datos y el modelo de facturación pay-as-you-go, además de ofrecer funciones de acceso práctico basadas en el protocolo HTTP. En entornos containerizados, suele usarse un sistema de archivos FUSE para montar los datos de OSS. En escenarios de lectura de archivos pequeños, use la solución de dispositivo de bloque virtual para montar los datos de OSS como volúmenes strmvol.

Los volúmenes strmvol habilitan el acceso a datos de OSS mediante dispositivos de bloque virtuales. Esta solución elimina los cuellos de botella de rendimiento en la capa intermedia de FUSE y permite acceder directamente a la capa del controlador de almacenamiento para acelerar el acceso a los datos. Resulta ideal para casos en los que se requiere recorrer rápidamente millones de archivos pequeños, como la carga de conjuntos de datos para entrenamiento de IA o el análisis de series temporales.

Características de la solución basada en FUSE

Esta solución usa un sistema de archivos FUSE, como ossfs. Sus características son:

Detecta cambios en los datos del servidor de OSS. Si deshabilita el caché de metadatos, los cambios surten efecto en tiempo real.
Admite operaciones de escritura e información extendida del sistema de archivos, incluido el identificador de grupo (gid) y el identificador de usuario (uid).
Las solicitudes de lectura y escritura se dirigen al cliente ossfs a través de la capa FUSE. Los escenarios con picos altos de solicitudes, como recorrer numerosos archivos pequeños, generan una sobrecarga significativa de rendimiento.
En versiones anteriores del plugin de Container Storage Interface (CSI), el cliente ossfs se ejecutaba como un proceso en el nodo correspondiente. En la versión actual, el cliente ossfs se ejecuta como un pod independiente dentro del clúster. Los pods del mismo nodo y volumen persistente (PV) comparten el mismo cliente ossfs para acceder a OSS.

Características de la solución de dispositivo de bloque virtual

Esta solución se basa en el dispositivo de bloque virtual subyacente y en un sistema de archivos en espacio de kernel, como Enhanced Read-Only File System (EROFS). Sus características son:

Durante la inicialización, recupera e indexa todos los metadatos de los archivos bajo el punto de montaje del bucket de OSS. La versión actual no admite la sincronización de datos con el servidor de OSS durante la ejecución.
En escenarios de solo lectura, no admite el análisis de información extendida para los objetos de OSS.
Elimina la sobrecarga de rendimiento de la capa FUSE. Usa un tamaño de memoria predefinido como medio de almacenamiento de datos para acelerar la precarga en escenarios de lectura de archivos pequeños.
Además del plugin de CSI, esta solución requiere un DaemonSet adicional llamado strmvold para gestionar los dispositivos de bloque virtuales en los nodos. Una vez que los dispositivos se montan en los nodos, ocupan recursos predefinidos del nodo para el caché de datos.

Escenarios

Si su negocio cumple con los siguientes requisitos, use la solución de dispositivo de bloque virtual (volúmenes strmvol).

Nota

La solución basada en FUSE es adecuada para la mayoría de los escenarios. Para obtener más información, consulte Use an ossfs 1.0 static volume, Use ossfs 1.0 dynamic volumes y Use ossfs 2.0 volumes.

Los datos se almacenan en buckets de OSS y no requieren actualización durante la ejecución del negocio.
Su negocio no depende de la información extendida del sistema de archivos.
Escenarios de solo lectura, especialmente aquellos que implican numerosos archivos pequeños o lecturas aleatorias.

Cómo usar volúmenes strmvol

Antes de usar volúmenes strmvol, instale el componente strmvol-csi-driver en la página Marketplace de la consola de Container Service for Kubernetes (ACK). Tras desplegar strmvol-csi-driver, se crean los siguientes recursos.

Nombre del recurso	Tipo de recurso	Función
strmvold	DaemonSet	Gestiona los dispositivos de bloque virtuales en el nodo.
strmvol-csi-plugin	DaemonSet	Implementa el montaje y desmontaje de volúmenes strmvol.
strmvol-csi-provisioner	Deployment	Implementa la creación dinámica de volúmenes strmvol.