strmvol volume overview - Container Service for Kubernetes - Centre de documentation Alibaba Cloud

Les volumes strmvol permettent de monter des données Object Storage Service (OSS) via des périphériques de bloc virtuels. Cette approche améliore les performances de lecture lorsque vous montez un très grand nombre d'objets OSS.

Présentation de la solution

OSS permet un stockage massif de données et une facturation au paiement à l'utilisation, tout en offrant un accès pratique basé sur le protocole HTTP. Dans les environnements conteneurisés, un système de fichiers FUSE sert généralement à monter les données OSS. Pour la lecture de petits fichiers, utilisez la solution de périphérique de bloc virtuel afin de monter les données OSS sous forme de volumes strmvol.

Les volumes strmvol permettent d'accéder aux données OSS par le biais de périphériques de bloc virtuels. Cette solution élimine les goulots d'étranglement liés à la couche intermédiaire FUSE et accède directement à la couche du pilote de stockage pour accélérer l'accès aux données. Elle convient parfaitement aux scénarios nécessitant un parcours rapide de millions de petits fichiers, tels que le chargement de jeux de données d'entraînement pour l'IA ou l'analyse de séries temporelles.

Fonctionnalités de la solution utilisant FUSE

Cette solution s'appuie sur un système de fichiers FUSE, tel qu'ossfs. Caractéristiques :

Le système détecte les modifications de données sur le serveur OSS. Si vous désactivez la mise en cache des métadonnées, les changements prennent effet en temps réel.
Les opérations d'écriture sont prises en charge, ainsi que les informations étendues du système de fichiers, notamment l'ID de groupe (gid) et l'ID utilisateur (uid).
La couche FUSE achemine les requêtes de lecture et d'écriture vers le client ossfs. Les scénarios impliquant un pic élevé de requêtes, comme le parcours de nombreux petits fichiers, engendrent une surcharge importante en termes de performances.
Dans les versions antérieures du plug-in Container Storage Interface (CSI), le client ossfs s'exécutait en tant que processus sur le nœud hôte. Dans la version actuelle du plug-in CSI, le client ossfs s'exécute en tant que pod distinct au sein du cluster. Les pods situés sur le même nœud et le volume persistant (PV) partagent le même client ossfs pour l'accès à OSS.

Fonctionnalités de la solution de périphérique de bloc virtuel

Cette solution repose sur un périphérique de bloc virtuel sous-jacent et un système de fichiers en espace noyau, tel que Enhanced Read-Only File System (EROFS). Caractéristiques :

Lors de l'initialisation, le système récupère et indexe toutes les métadonnées de fichiers présentes sous la cible de montage du bucket OSS. La version actuelle ne prend pas en charge la synchronisation des données avec le serveur OSS pendant l'exécution.
Dans les scénarios en lecture seule, le système ne prend pas en charge l'analyse des informations étendues pour les objets OSS.
La solution élimine la surcharge de performances liée à la couche FUSE. La taille mémoire prédéfinie sert de support de stockage pour accélérer le préchargement lors de la lecture de petits fichiers.
Outre le plug-in CSI, cette solution nécessite un DaemonSet supplémentaire nommé strmvold pour gérer les périphériques de bloc virtuels sur les nœuds. Une fois les périphériques attachés aux nœuds, les ressources de nœud prédéfinies servent à la mise en cache des données.

Scénarios

Utilisez la solution de périphérique de bloc virtuel (volumes strmvol) si votre activité répond aux exigences suivantes.

Remarque

La solution utilisant FUSE convient à la majorité des scénarios. Pour plus d'informations, consultez les rubriques Utiliser un volume statique ossfs 1,0, Utiliser des volumes dynamiques ossfs 1,0 et Utiliser des volumes ossfs 2,0.

Les données sont stockées dans des buckets OSS et ne nécessitent aucune mise à jour pendant l'exécution de l'activité.
Votre activité n'est pas sensible aux informations étendues du système de fichiers.
Scénarios en lecture seule, en particulier ceux impliquant de nombreux petits fichiers ou des lectures aléatoires.

Utilisation des volumes strmvol

Avant d'utiliser les volumes strmvol, installez le composant strmvol-csi-driver depuis la page Marketplace de la console Container Service for Kubernetes (ACK). Le déploiement de strmvol-csi-driver crée les ressources suivantes.

Nom de la ressource	Type de ressource	Fonctionnalité
strmvold	DaemonSet	Gère les périphériques de bloc virtuels sur le nœud.
strmvol-csi-plugin	DaemonSet	Gère le montage et le démontage des volumes strmvol.
strmvol-csi-provisioner	Deployment	Gère la création dynamique de volumes strmvol.