Utiliser le stockage Alibaba Cloud tel que les disques, NAS et OSS dans les clusters ACS - Container Compute Service

ACS intègre le stockage par blocs d'Alibaba Cloud, File Storage NAS (NAS), Cloud Parallel File Storage (CPFS) et Object Storage Service (OSS) via l'interface de stockage de conteneurs (CSI) de Kubernetes. Ces services fonctionnent conjointement avec les types de volumes natifs de Kubernetes tels que EmptyDir et ConfigMap. Choisissez le type de stockage adapté à votre charge de travail.

Notions de base sur le stockage

Volume

Les fichiers contenus dans un conteneur sont stockés temporairement sur le disque. Cette caractéristique pose les problèmes suivants pour les applications exécutées dans le conteneur :

Lorsqu'un pod exécute plusieurs conteneurs simultanément, ceux-ci ne peuvent pas partager de fichiers.
En cas de plantage d'un conteneur, les fichiers générés pendant son exécution ne sont pas conservés après sa recréation, ce qui entraîne une perte de données.

Pour résoudre ces problèmes, Kubernetes propose l'abstraction Volume, qui offre un stockage partagé et persistant.

Un volume fait partie intégrante d'un pod et ne peut être défini qu'au sein de celui-ci. Il ne peut pas être créé indépendamment. Tous les conteneurs d'un pod peuvent utiliser le volume, mais vous devez le monter dans un répertoire du conteneur.
Le volume sert de canal pour transférer des données entre un pod et un dispositif de stockage externe. Il permet également le partage de données entre les conteneurs d'un même pod, entre différents pods, ainsi qu'entre un pod et l'environnement externe.
Il existe plusieurs types de volumes, tels que EmptyDir, ConfigMap et PersistentVolumeClaim (PVC).
- EmptyDir : Volume temporaire créé au démarrage d'un pod. Les données sont supprimées lorsque le pod est retiré.
- ConfigMap : Monte les données de configuration sous forme de fichiers dans un conteneur.
- PersistentVolumeClaim (PVC) : Demande de stockage persistant auprès d'un backend de stockage distant. Les données survivent aux redémarrages des conteneurs et à la replanification des pods.

Pour plus d'informations, consultez Volumes.

PV et PVC

Tous les volumes ne sont pas persistants. Pour assurer un stockage persistant, le stockage des conteneurs s'appuie sur un service de stockage distant. À cette fin, Kubernetes a introduit deux objets de ressource, PV et PVC, pour définir et utiliser les ressources de stockage :

PersistentVolume (PV) : Volume abstrait représentant un stockage provisionné depuis un backend distant tel qu'un disque cloud, un système de fichiers NAS ou un compartiment OSS. Un PV existe indépendamment des pods et peut être partagé par plusieurs pods. Un administrateur de cluster peut créer un PV à l'avance, ou le système peut en créer un dynamiquement via une StorageClass.
PersistentVolumeClaim (PVC) : Demande de stockage spécifiant la capacité et le mode d'accès. Un PVC est mappé à un PV selon une relation un-à-un. Pour utiliser un stockage persistant, associez un PVC à un volume dans le pod.

Pour plus d'informations, consultez Persistent Volumes et Storage Classes.

Prérequis

Pour monter, démonter, créer et supprimer des volumes, le plugin CSI nécessite des autorisations d'accès aux ressources d'autres produits Alibaba Cloud. Le plugin utilise l'autorisation par rôle RAM pour demander la création du rôle AliyunCCCSIPluginRole, qui accorde au plugin l'accès à vos ressources dans d'autres produits cloud. Assurez-vous que ce rôle est configuré avant de monter le stockage cloud.

Pour plus d'informations, reportez-vous à Présentation de l'autorisation.

Choisir un stockage cloud

Alibaba Cloud propose des services de stockage par blocs, par fichiers et par objets peu coûteux, hautement fiables et disponibles pour les charges de travail des conteneurs. Choisissez un type de stockage en fonction du type de calcul et des exigences de stockage de votre charge de travail, en tenant compte de facteurs tels que le volume de données, la fréquence d'accès aux données, les IOPS et le débit.

Correspondance entre scénarios et stockage

La liste suivante établit une correspondance entre les scénarios de charge de travail courants et le type de stockage recommandé. Utilisez-la comme point de départ, puis consultez le tableau comparatif pour obtenir des informations détaillées sur les fonctionnalités.

Bases de données et middleware nécessitant un stockage par blocs non partagé à faible latence — Utilisez le stockage par blocs. Un disque cloud offre une faible latence et des performances élevées pour les applications à forte intensité d'E/S. Le stockage par blocs n'est pas partagé et ne peut être monté que sur un seul pod à la fois.
Données partagées entre pods, analyse de big data, applications web et persistance des journaux — Utilisez NAS. NAS est un système de fichiers partagé qui prend en charge l'accès simultané depuis plusieurs pods, un débit élevé et la modification de fichiers en ligne.
Entraînement IA, conduite autonome, calcul génétique et rendu cinématographique et télévisuel — Utilisez CPFS General-purpose Edition. Ce système de fichiers parallèles entièrement géré offre le débit élevé et les IOPS élevés requis par les charges de travail de calcul haute performance (HPC).
Contenu généré par l'IA (AIGC) et autres charges de travail informatiques intelligentes nécessitant un débit ultra-élevé avec Remote Direct Memory Access (RDMA) — Utilisez CPFS for Lingjun. Ce système de fichiers parallèles prend en charge les réseaux RDMA de bout en bout et est conçu spécifiquement pour l'informatique intelligente. CPFS for Lingjun est en aperçu sur invitation.
Données non structurées principalement en lecture seule, traitement par lots à haute concurrence et données exigeant une authentification rigoureuse et une reprise après sinistre — Utilisez OSS. OSS fournit un stockage partagé massif et peu coûteux pour les fichiers de configuration, les images, les fichiers audio et vidéo, l'inférence IA et l'analyse de données.

Prise en charge du stockage cloud par type de calcul

Pods ACS basés sur CPU (types généralistes et optimisés pour les performances) : Tous les types de stockage cloud pris en charge par ACS peuvent être montés.
Pods ACS basés sur GPU (types GPU et GPU-HPN) :
- Pris en charge par défaut : NAS et OSS.
- Prise en charge limitée : Seuls certains modèles de GPU prennent en charge le stockage par blocs et CPFS for Lingjun. Pour plus d'informations, [soumettez un ticket sur le site international].

Tableau comparatif

Stockage cloud	Fonctionnalités	Scénarios courants	Guide de sélection
Stockage par blocs	Stockage d'accès aléatoire au niveau du bloc, non partagé, à faible latence et hautement fiable. Semblable à un disque dur physique, il prend en charge le partitionnement, le formatage et la création d'un système de fichiers.	E/S élevées et faible latence Un disque cloud offre une faible latence et des performances élevées, ce qui convient aux applications ayant des exigences strictes en matière d'E/S et de latence, telles que les bases de données et les middleware. Accès non partagé Un disque cloud est un stockage non partagé et ne peut être monté que sur un seul pod.	Les types de stockage par blocs suivants sont pris en charge : `cloud_essd_entry` : Disque ESSD Entry `cloud_auto` : Disque ESSD AutoPL `cloud_essd` (par défaut) : ESSD `cloud_ssd` : SSD standard `cloud_efficiency` : Ultra disque `cloud_essd_entry` : Disque ESSD Entry `cloud_auto` : Disque ESSD AutoPL `cloud_essd` (par défaut) : ESSD `cloud_ssd` : SSD standard `cloud_efficiency` : Ultra disque Vous pouvez choisir un type de disque en fonction de vos besoins en matière de facturation et de performances. Pour plus d'informations, consultez Tarification du stockage par blocs et Performances du stockage par blocs.
File Storage NAS	Système de fichiers distribué offrant un accès partagé, une mise à l'échelle élastique, une haute fiabilité et des performances élevées. Il offre un débit élevé et des IOPS élevés, et prend en charge les lectures et écritures aléatoires ainsi que la modification de fichiers en ligne.	Données partagées NAS est un stockage partagé, permettant à plusieurs pods d'accéder simultanément aux mêmes données. Les données dans NAS ne sont pas effacées lors de la suppression d'un pod, ce qui rend NAS adapté au partage de données entre pods. Analyse de big data NAS offre un débit de données élevé, répondant aux exigences d'accès au stockage partagé des travaux par lots à grande échelle. Applications web NAS fournit un support de stockage pour les applications web et les systèmes de gestion de contenu. Persistance des journaux Pour stocker les journaux de manière persistante, utilisez NAS.	General-purpose NAS et Extreme NAS sont pris en charge. Choisissez un type NAS et une spécification de stockage en fonction de facteurs tels que les coûts et les performances de NAS. Pour plus d'informations, consultez General-purpose NAS, Extreme NAS et Guide de sélection.
CPFS General-purpose Edition	Système de fichiers parallèles entièrement géré et évolutif offrant un débit élevé et des IOPS élevés.	Scénarios de calcul haute performance tels que l'entraînement IA et le calcul génétique CPFS General-purpose Edition offre un débit élevé et des IOPS élevés, répondant aux exigences des scénarios de calcul haute performance (HPC) tels que l'entraînement IA, la conduite autonome, le calcul génétique et le rendu cinématographique et télévisuel.	Choisissez une spécification en fonction de facteurs tels que le coût et les performances de CPFS General-purpose Edition. Pour plus d'informations, consultez Spécifications du produit.
CPFS for Lingjun (aperçu sur invitation)	Conçu pour les charges de travail informatiques intelligentes, il offre un débit et des IOPS ultra-élevés et prend en charge les réseaux RDMA de bout en bout.	Scénarios informatiques intelligents tels que l'AIGC et la conduite autonome CPFS for Lingjun offre un débit et des IOPS ultra-élevés et prend en charge les réseaux RDMA de bout en bout, répondant aux exigences des charges de travail informatiques intelligentes.	CPFS for Lingjun est en aperçu sur invitation et n'est actuellement disponible que dans certaines régions et zones. Pour plus d'informations, consultez CPFS for Lingjun.
OSS	Espace de stockage partagé massif et peu coûteux, adapté aux données rarement modifiées après leur écriture.	Données partagées OSS est un stockage partagé, permettant à plusieurs pods d'accéder simultanément aux mêmes données. Les données dans OSS ne sont pas effacées lors de la suppression d'un pod, ce qui rend OSS adapté au partage de données entre pods. Scénarios de lecture prédominante pour les fichiers de configuration, images, vidéos et autres fichiers multimédias OSS convient aux données non structurées telles que les fichiers de configuration, les images, les fichiers audio et vidéo, et tout autre objet ne nécessitant pas de modifications fréquentes. Si votre activité nécessite de modifier le contenu des fichiers, sélectionnez un volume ossfs 1,0 pour une meilleure compatibilité POSIX. Scénarios de traitement par lots à haute concurrence tels que l'inférence IA et l'analyse de données La bande passante serveur élevée d'OSS convient au traitement par lots à haute concurrence, tel que l'entraînement IA, l'analyse de données, la conduite autonome et autres charges de travail et flux de travail à forte intensité de calcul. Ces charges de travail impliquent principalement des lectures séquentielles et aléatoires et des écritures séquentielles (ajout uniquement). Sélectionnez un volume ossfs 2,0 pour un débit plus élevé. Scénarios de sécurité des données exigeant une authentification rigoureuse et une reprise après sinistre OSS prend en charge la reprise après sinistre redondante inter-zones sur trois zones dans la même région et des capacités de chiffrement côté serveur telles que Key Management Service (KMS). Il prend également en charge la vérification MD5 pour garantir l'intégrité des données lors des téléchargements et des téléversements, et propose deux méthodes d'authentification au niveau des objets : RAM et les politiques de compartiment OSS.	Choisissez une StorageClass en fonction de facteurs tels que la facturation OSS et la fréquence d'accès aux données. Pour plus d'informations, consultez Guide de sélection et Référence StorageClass.

Monter un stockage cloud

CSI est l'implémentation de plugin de stockage recommandée par la communauté Kubernetes. ACS fournit csi-provisioner en tant que module complémentaire CSI pour les clusters ACS. Ce plugin prend en charge les volumes basés sur les ressources de stockage Alibaba Cloud.

Pour monter un stockage cloud, créez un PV décrivant une ressource de stockage Alibaba Cloud telle qu'un disque cloud ou un système de fichiers NAS, liez le PV à un PVC, puis déclarez le PVC dans la définition de volume d'un pod. Selon la méthode de création du PV, le stockage cloud peut être monté de deux manières :

Provisionnement statique : Créez un PV à partir d'une ressource de stockage cloud existante et liez-le directement dans un PVC. Cette méthode garantit que le PV est prêt avant le démarrage du conteneur et convient aux scénarios où la ressource de stockage existe déjà.
Provisionnement dynamique : Utilisez une StorageClass pour définir la ressource de stockage cloud à créer, puis associez la StorageClass dans un PVC. Le système crée et lie automatiquement un PV en fonction des configurations du PVC et de la StorageClass. Cette méthode ne nécessite pas de créer un PV à l'avance, ce qui la rend plus flexible et automatisée.

Les rubriques suivantes décrivent comment monter chaque type de volume :

Étapes suivantes

Outre le stockage persistant, un disque cloud peut également servir de volume éphémère pour stocker des données temporaires. Les volumes éphémères sont créés et supprimés conjointement avec le pod. Pour la procédure détaillée, consultez Monter un volume éphémère.
Par défaut, chaque pod ACS fournit 30 Go de stockage éphémère gratuit. Si cette capacité ne répond pas à vos besoins, vous pouvez augmenter l'espace de stockage éphémère selon vos besoins.