Elastic GPU Service:GPU compute-optimized: gn, ebm, and scc

Famille d'instances de calcul optimisées pour GPU gn9gc

• Présentation : gn9gc est la neuvième génération de familles d'instances de serveur cloud GPU économiques d'Alibaba Cloud. Elle utilise le processeur CIPU 2.0 de dernière génération pour fournir des capacités de service cloud, dispose de processeurs à haute fréquence d'horloge et est configurée avec une capacité de mémoire appropriée. Cette famille d'instances propose des instances rentables pour les scénarios de génération de grands modèles de langage (LLM) ainsi que pour les scénarios de génération de vidéos et d'images. Le GPU peut également fournir directement des capacités de traitement graphique pour prendre en charge diverses charges de travail de rendu.

• Cas d'utilisation :

  • Inférence LLM : le GPU de nouvelle génération offre une puissance de calcul supérieure à celle de la huitième génération, avec une bande passante mémoire considérablement améliorée. La prise en charge nouvellement ajoutée du calcul FP4 améliore globalement les performances d'inférence et le rapport coût-efficacité. L'efficacité de l'inférence parallèle multi-GPU est grandement renforcée.

• Calcul :

  • Utilise le dernier processeur cloud CIPU 2.0.

    • Le CIPU de deuxième génération offre une puissance de traitement cloud supérieure grâce à des capacités améliorées des composants eRDMA, VPC et EBS. Prend en charge les conteneurs (y compris, mais sans s'y limiter, Docker, Clear Container et Pouch).

  • Utilise la carte graphique professionnelle basée sur la nouvelle architecture Blackwell :

    • Prend en charge le traitement graphique professionnel OpenGL.

    • Prend en charge RTX, TensorRT et d'autres fonctionnalités d'accélération courantes, avec une prise en charge FP4 nouvellement mise à niveau et une interconnexion PCIe Gen5.

  • Spécifications GPU clés :

    Architecture GPU	Mémoire GPU	Performances de calcul	Encodage/décodage vidéo	Interconnexion inter-GPU	API d'accélération
    NVIDIA Blackwell	Capacité : 72 Go Bande passante : 1 344 Go/s	TF32 : 126 TFLOPS FP32 : 52 TFLOPS FP16/BF16 : 266 TFLOPS FP8/INT8 : 530 TFLOPS FP4 : 970 TFLOPS RT Core : 196 TFLOPS	3 x encodeur vidéo 3 x décodeur vidéo	Interface PCIe : PCIe Gen5 x16 Bande passante : 128 Go/s, P2P pris en charge	DX12, OpenGL 4.6, Vulkan 1.3, CUDA 12.8, OpenCL 3.0, DirectCompute

• Stockage :

  • Optimisé pour les E/S.

  • Prend en charge le protocole NVMe. Pour plus d'informations, consultez la rubrique Protocole NVMe.

  • Types de disques cloud pris en charge : disques éphémères élastiques, ESSD, disques ESSD AutoPL et ESSD régionaux. Pour plus d'informations, consultez la rubrique Présentation du stockage par blocs.

• Réseau :

  • Prend en charge IPv4 et IPv6. Pour plus d'informations sur IPv6, consultez la rubrique IPv6.

  • Performances réseau ultra-élevées avec jusqu'à 30 millions de PPS (instances à 8 GPU).

  • Prend en charge ERI (Elastic RDMA Interface) pour l'accélération directe RDMA sur les réseaux VPC, avec une bande passante allant jusqu'à 360 Gbit/s. Adapté aux charges de travail de conduite autonome, d'intelligence incarnée, de vision par ordinateur et d'entraînement de modèles traditionnels.

  • Remarque

    Pour plus d'informations sur ERI, consultez la rubrique Activer eRDMA sur une instance de niveau entreprise.

Le tableau suivant décrit les types d'instance de la famille d'instances gn9gc.

Familles d'instances gn8v et gn8v-tee, optimisées pour le calcul avec accélération GPU

Ces familles d'instances sont disponibles dans certaines régions, y compris en dehors de la Chine continentale. Pour les utiliser, contactez votre représentant commercial Alibaba Cloud.

• Présentation :

  • gn8v : Famille d'instances de huitième génération optimisées pour le calcul avec accélération GPU, proposée par Alibaba Cloud pour l'entraînement et l'inférence de modèles d'IA sur des grands modèles de langage (LLM) ultra-grands. Cette famille propose des types d'instances équipés d'un, deux, quatre ou huit GPU afin de répondre à diverses exigences applicatives.

  • gn8v-tee : Afin de renforcer la sécurité lors de l'entraînement et de l'inférence de grands modèles, Alibaba Cloud propose gn8v-tee, une famille d'instances de huitième génération basée sur gn8v et intégrant une fonctionnalité de confidential computing. Ces instances chiffrent les données pendant le calcul GPU pour protéger vos informations.

• Cas d'utilisation :

  • Solution rentable pour l'inférence parallèle multi-GPU sur des LLM comptant plus de 70 milliards de paramètres.

  • Chaque GPU offre une puissance de calcul FP32 de 39,5 TFLOPS et assure des performances exceptionnelles pour l'entraînement traditionnel de modèles d'IA ainsi que pour les charges de travail liées à la conduite autonome.

  • Les huit GPU prennent en charge l'interconnexion NVLink, ce qui convient à l'entraînement de modèles de petite et moyenne taille.

• Fonctionnalités :

  • Mémoire GPU haute vitesse et grande capacité : Chaque GPU est doté de 96 Go de mémoire HBM3 et offre une bande passante mémoire pouvant atteindre 4 To/s, accélérant considérablement l'entraînement et l'inférence des modèles.

  • Bande passante inter-GPU élevée : Plusieurs GPU sont interconnectés via NVLink à 900 Go/s. Cela permet une efficacité bien supérieure pour l'entraînement et l'inférence multi-GPU par rapport aux instances GPU des générations précédentes.

  • Quantification des LLM : Prend en charge la puissance de calcul FP8, qui optimise les performances pour l'entraînement et l'inférence de modèles à grande échelle paramétrique. Cela améliore significativement les vitesses d'entraînement et d'inférence tout en réduisant l'utilisation de la mémoire GPU.

  • (Uniquement pour les instances gn8v-tee) Sécurité renforcée : Prend en charge à la fois le confidential computing CPU avec Intel® Trust Domain Extensions (TDX) et le confidential computing GPU avec NVIDIA Confidential Computing (CC). Cela fournit un confidential computing de bout en bout pour l'intégralité du pipeline d'inférence de modèle, protégeant vos données d'inférence et vos modèles d'entreprise pendant l'entraînement et l'inférence.

• Calcul :

  • Basé sur la dernière version de CIPU 1.0.

    • Découple le calcul du stockage, vous permettant de sélectionner de manière flexible les ressources de stockage dont vous avez besoin.

    • Offre des capacités bare metal, qui prennent en charge la communication pair à pair (P2P) entre les instances GPU, contrairement aux instances virtualisées traditionnelles.

  • Équipé de processeurs Intel® Xeon® Scalables de quatrième génération, avec une fréquence de base allant jusqu'à 2,8 GHz et une fréquence turbo tous cœurs atteignant 3,1 GHz.

• Stockage :

  • Instance optimisée pour les E/S.

  • Ces instances prennent en charge le protocole NVMe. Pour plus d'informations, consultez Présentation du protocole NVMe.

  • Types de disques cloud pris en charge : disque éphémère élastique, ESSD, disques ESSD AutoPL et ESSD régional. Pour plus d'informations sur les disques cloud, consultez Présentation du stockage par blocs.

• Réseau :

  • Prend en charge IPv4 et IPv6. Pour plus d'informations sur la communication IPv6, consultez Communication IPv6.

  • Ces instances prennent en charge les jumbo frames. Pour plus d'informations, consultez Jumbo frames.

  • Offre des performances réseau ultra-élevées avec un taux de transfert de paquets pouvant atteindre 30 millions de pps (sur les instances à 8 GPU).

  • Prend en charge l'interface RDMA élastique (ERI).

    Remarque

    • La famille d'instances de confidential computing gn8v-tee ne prend pas en charge les périphériques ERI ni la fonctionnalité eRDMA.

    • Pour savoir comment utiliser ERI, consultez Activer sur une instance de niveau entreprise.

• Sécurité : Prend en charge la fonctionnalité de trusted computing (vTPM). Cette fonctionnalité est disponible sur les instances gn8v, mais pas sur les instances gn8v-tee. Pour plus d'informations, consultez Présentation des capacités de trusted computing.

Le tableau suivant décrit les types d'instances de la famille gn8v .

Le tableau suivant décrit les types d'instances de la famille gn8v-tee .

gn8is, famille d'instances optimisées pour le calcul accéléré par GPU

Cette famille d'instances est disponible dans certaines régions, y compris en dehors de la Chine continentale. Pour utiliser cette famille d'instances, contactez votre représentant commercial Alibaba Cloud.

• Présentation : gn8is est la huitième génération de familles d'instances optimisées pour le calcul accéléré par GPU d'Alibaba Cloud, conçue pour répondre à la demande croissante liée au contenu généré par l'IA (AIGC). Propulsées par les derniers GPU NVIDIA L20, ces instances proposent des configurations avec un, deux, quatre ou huit GPU, ainsi que divers ratios CPU/GPU pour s'adapter à des besoins applicatifs variés.

• Fonctionnalités :

  • Traitement graphique : Grâce aux processeurs Intel® Xeon® Scalable haute fréquence de 4e génération, ces instances offrent une puissance de calcul CPU robuste pour les scénarios de modélisation 3D, garantissant ainsi un rendu graphique et des flux de travail de conception plus fluides.

  • Tâches d'inférence : Équipées du nouveau GPU NVIDIA L20 disposant de 48 Go de mémoire GPU, ces instances accélèrent les tâches d'inférence. Elles prennent en charge le format à virgule flottante FP8 et peuvent être associées à Container Service for Kubernetes (ACK) pour exécuter de manière flexible l'inférence de divers modèles AIGC. Elles sont particulièrement adaptées aux tâches d'inférence sur les grands modèles de langage (LLM) comptant moins de 70 milliards de paramètres.

• Cas d'utilisation :

  • Utilisez les pilotes GRID avec des images disponibles sur Alibaba Cloud Marketplace pour activer les capacités OpenGL et Direct3D. Cela fournit un traitement graphique de niveau station de travail pour des charges de travail telles que l'animation, les effets spéciaux cinématographiques et télévisuels, ainsi que le rendu.

  • Exploitez les capacités de gestion des conteneurs de Container Service for Kubernetes (ACK) pour une génération d'images AIGC et une inférence LLM plus efficaces et économiques.

  • Autres applications d'IA polyvalentes, telles que la reconnaissance d'images et la reconnaissance vocale.

• Calcul :

  • Propulsées par les nouveaux GPU NVIDIA L20 de qualité entreprise.

    • Prend en charge des fonctionnalités d'accélération courantes telles que TensorRT et le format à virgule flottante FP8 pour améliorer les performances d'inférence des modèles.

    • Jusqu'à 48 Go de mémoire GPU par GPU. Avec plusieurs GPU, les instances de cette famille prennent en charge l'inférence sur une instance unique pour les modèles comportant 70 milliards de paramètres ou plus.

    • Capacités de traitement graphique améliorées. Après l'installation d'un pilote GRID via Cloud Assistant ou une image d'Alibaba Cloud Marketplace, les performances de traitement graphique sont doublées par rapport aux plateformes de 7e génération.

  • Paramètres clés du GPU NVIDIA L20 :

    Architecture GPU	Mémoire GPU	Performances de calcul	Encodage/décodage vidéo	Connectivité inter-GPU
    NVIDIA Ada Lovelace	Capacité : 48 Go Bande passante : 864 Go/s	FP64 : N/A FP32 : 59,3 TFLOPS FP16/BF16 : 119 TFLOPS FP8/INT8 : 237 TFLOPS	3 × encodeurs vidéo (+AV1) 3 × décodeurs vidéo 4 × décodeurs JPEG	Interface PCIe : PCIe Gen4 x16 Bande passante : 64 Go/s

  • Processeur : Propulsé par les derniers processeurs Intel^® Xeon^® haute fréquence, avec une fréquence turbo tous cœurs atteignant jusqu'à 3,9 GHz pour gérer les exigences complexes de la modélisation 3D.

• Stockage :

  • Toutes les instances de cette famille sont optimisées pour les E/S.

  • Ces instances prennent en charge le protocole NVMe. Pour plus d'informations, consultez Présentation du protocole NVMe.

  • Types de disques cloud pris en charge : disques éphémères élastiques, ESSD, disques ESSD AutoPL et ESSD régionaux. Pour plus d'informations sur les disques cloud, consultez Présentation du stockage par blocs.

• Réseau :

  • Prend en charge IPv4 et IPv6. Pour plus d'informations sur la communication IPv6, consultez Communication IPv6.

  • Prend en charge l'interface Elastic RDMA (ERI).

    Remarque

    Pour plus de détails sur l'utilisation d'ERI, consultez Activer eRDMA pour les instances de niveau entreprise.

• Sécurité : Ces instances prennent en charge la fonctionnalité vTPM. Pour plus d'informations, consultez Présentation du calcul de confiance.

gn7e, famille d'instances optimisées pour le calcul accéléré par GPU

Famille d'instances gn7i, optimisées pour le calcul accéléré par GPU

Famille d'instances gn7s, optimisées pour le calcul accéléré par GPU

Pour utiliser la famille d'instances gn7s, soumettez un ticket.

Famille d'instances gn7, optimisées pour le calcul avec accélération GPU

Famille d'instances gn6i, optimisées pour le calcul avec accélération GPU

Famille d'instances gn6e, optimisées pour le calcul avec accélération GPU

Famille d'instances gn6v, optimisées pour le calcul avec accélération GPU

Famille d'instances de serveur bare metal élastique GPU ebmgn9g

• Présentation de la famille d'instances : La famille d'instances ebmgn9g constitue la neuvième génération d'instances bare metal GPU complètes et rentables d'Alibaba Cloud. Propulsées par la dernière version de CIPU 2.0, ces instances combinent des processeurs haute fréquence, une grande capacité de mémoire et des GPU professionnels basés sur la nouvelle architecture Blackwell. Elles offrent des services cloud GPU performants et économiques pour une large gamme de charges de travail accélérées, telles que l'entraînement pour la conduite autonome et l'intelligence incarnée, l'inférence de grands modèles, le rendu de films et d'animations, ainsi que les services pour le métavers et le cloud gaming.

• Cas d'utilisation et fonctionnalités :

  • Conduite autonome/intelligence incarnée : Avec 256 vCPU fonctionnant à une fréquence tous cœurs allant jusqu'à 4,2 GHz et 2 304 Go de mémoire, ces instances répondent aux exigences exigeantes de traitement des données pour l'entraînement à la conduite autonome et à l'intelligence incarnée.

  • Recherche et recommandation : Le GPU Blackwell offre une puissance de calcul TF32 de 126 TFLOPS. Chaque GPU est associé à 32 vCPU et à une bande passante mémoire de 153 Go/s, ce qui en fait une configuration optimale pour les services de recherche et de publicité.

  • Inférence de grands modèles : Le GPU de nouvelle génération offre un bond significatif en termes de performances par rapport à son prédécesseur, avec une bande passante de la mémoire vidéo portée à 1 344 Go/s. La prise en charge de la puissance de calcul FP4 améliore considérablement les performances d'inférence et la rentabilité. Les huit GPU sont interconnectés via PCIe Gen5 avec une bande passante de 128 Go/s. Cette connexion améliore considérablement l'efficacité de l'inférence parallèle multi-cartes.

  • Cloud gaming/rendu/métavers : Avec une fréquence CPU allant jusqu'à 5 GHz, ces instances constituent un excellent choix pour la modélisation 3D. Le GPU fournit des pilotes graphiques certifiés de niveau station de travail avec une accélération OpenGL complète, faisant de ces instances le choix optimal pour le développement de films et d'animations haut de gamme et la conception CAD.

• Propulsé par la dernière version de CIPU 2.0 :

  La deuxième génération de CIPU offre une puissance de traitement accrue, améliorant les performances des composants eRDMA, VPC et de disque cloud. Les instances bare metal sont idéales pour les charges de travail nécessitant un accès direct aux ressources physiques ou ayant des exigences telles que l'octroi de licences basé sur le matériel. Elles prennent également en charge les conteneurs, y compris, mais sans s'y limiter, Docker, Clear Containers et PouchContainer.

• Calcul :

  • Propulsé par des GPU professionnels basés sur la nouvelle architecture Blackwell :

    • Prend en charge le traitement graphique OpenGL de niveau professionnel.

    • Prend en charge les fonctionnalités d'accélération courantes telles que RTX et TensorRT, avec l'ajout récent de la prise en charge de FP4 et de l'interconnexion PCIe Gen5.

    • Utilise un commutateur PCIe pour l'interconnexion, ce qui améliore les performances NCCL de 36 % par rapport à une connexion directe au CPU. Cela peut augmenter les performances jusqu'à 9 % pour l'inférence de grands modèles avec sharding multi-cartes.

  • Spécifications GPU clés :

    Architecture GPU	Mémoire vidéo	Performances de calcul	Moteurs d'encodage/décodage	Interconnexion inter-GPU	API d'accélération
    Blackwell	Capacité : 48 Go Bande passante : 1 344 Go/s	TF32 : 126 TFLOPS FP32 : 52 TFLOPS FP16/BF16 : 266 TFLOPS FP8/INT8 : 533 TFLOPS FP4 : 970 TFLOPS Cœur RT : 196 TFLOPS	3 × Encodeur vidéo 3 × Décodeur vidéo	PCIe Gen5 x16 : 128 Go/s Prend en charge P2P	Prend en charge DX12, OpenGL 4.6, Vulkan 1.3, CUDA 12.8, OpenCL 3.0 et DirectCompute

  • Processeur : Processeurs AMD Turin-C avec une plage de fréquences de 3,3 GHz à 5 GHz et un turbo tous cœurs allant jusqu'à 4,2 GHz.

• Stockage :

  • Instance optimisée pour les E/S.

  • Prend en charge le protocole NVMe. Pour plus d'informations, consultez la rubrique Présentation du protocole NVMe.

  • Types de disques cloud pris en charge : disque temporaire élastique, ESSD, ESSD AutoPL et ESSD avec redondance inter-zones. Pour plus d'informations sur le stockage par blocs, consultez la rubrique Présentation du stockage par blocs.

• Réseau :

  • Prend en charge IPv4 et IPv6. Pour plus d'informations sur la communication IPv6, consultez la rubrique Communication IPv6.

  • Offre des performances réseau allant jusqu'à 30 millions de PPS réseau.

  • Prend en charge eRDMA, qui permet l'accélération par pass-through RDMA sur les réseaux VPC. eRDMA augmente la bande passante à 360 Gbit/s et est idéal pour les charges de travail d'entraînement dans les domaines de la conduite autonome, de l'intelligence incarnée, de la vision par ordinateur (CV) et des modèles traditionnels.

    Remarque

    Pour obtenir des instructions sur l'utilisation d'eRDMA, consultez la rubrique Activer eRDMA pour une instance de niveau entreprise.

Le tableau suivant répertorie les spécifications de la famille d'instances ebmgn9g.

Famille d'instances bare metal GPU élastiques ebmgn9ge

• Présentation : La famille d'instances ebmgn9ge constitue la 9e génération d'instances bare metal GPU complètes et économiques d'Alibaba Cloud. Propulsées par le dernier CIPU 2.0, ces instances combinent des CPU haute fréquence, une grande capacité de mémoire et des GPU professionnels basés sur la nouvelle architecture Blackwell. Elles offrent des services cloud GPU performants et rentables pour une large gamme de charges de travail accélérées, notamment l'entraînement à la conduite autonome et à l'intelligence incarnée, l'inférence de grands modèles, le rendu cinématographique et d'animation, ainsi que les services de métavers et de cloud gaming.

• Cas d'utilisation et fonctionnalités :

  • Conduite autonome et intelligence incarnée : Avec 256 vCPU fonctionnant à une fréquence tous cœurs supérieure à 4,2 GHz et 2,3 To de mémoire, ces instances répondent aux exigences élevées en matière de traitement des données pour l'entraînement à la conduite autonome et à l'intelligence incarnée.

  • Recherche et recommandation : Le GPU Blackwell offre une puissance de calcul TF32 de 126 TFLOPS. Chaque GPU est associé à 32 vCPU et à une bande passante mémoire de 153 Go/s, ce qui constitue une configuration optimale pour les services de recherche et de publicité.

  • Inférence de grands modèles :

    La famille d'instances ebmgn9ge est spécialement conçue pour les grands modèles de langage, offrant 72 Go de mémoire GPU par GPU. La bande passante de la mémoire GPU atteint 1 344 Go/s, garantissant une inférence haute performance pour les scénarios LLM. Combinée à la nouvelle architecture de calcul FP4 et à une bande passante PCIe Gen5 de 128 Go/s, une instance peut prendre en charge l'inférence parallèle de modèles dépassant 671 milliards de paramètres sur 8 GPU.

  • Cloud gaming, rendu et métavers : Avec une fréquence CPU pouvant atteindre 5 GHz, ces instances sont bien adaptées à la modélisation 3D. Le GPU prend nativement en charge les fonctionnalités graphiques et fournit des pilotes graphiques certifiés de niveau station de travail avec une accélération OpenGL complète, ce qui les rend idéaux pour le développement haut de gamme de films et d'animations ainsi que pour la conception CAD.

• Propulsé par le dernier CIPU 2.0 :

  Le CIPU de 2e génération offre une plus grande puissance de traitement cloud, améliorant les performances des composants eRDMA, VPC et EBS. Les instances bare metal permettent aux charges de travail d'accéder directement aux ressources physiques ou de répondre à des exigences telles que les licences basées sur le matériel. Elles prennent également en charge les conteneurs, tels que Docker, Clear Containers et Pouch.

• Calcul :

  • Propulsé par des GPU professionnels basés sur la nouvelle architecture Blackwell :

    • Prend en charge le traitement graphique OpenGL de niveau professionnel.

    • Prend en charge les fonctionnalités d'accélération courantes comme RTX et TensorRT, et ajoute la prise en charge du calcul FP4 et de l'interconnexion PCIe Gen5.

    • Utilise un commutateur PCIe pour l'interconnexion, ce qui améliore les performances NCCL de 36 % par rapport à une connexion directe au CPU. Cela peut augmenter les performances jusqu'à 9 % pour l'inférence de grands modèles avec sharding multi-GPU.

  • Spécifications clés du GPU :

    Architecture GPU	Mémoire GPU	Performances de calcul	Moteurs d'encodage/décodage vidéo	Interconnexion inter-GPU	API accélérées
    Blackwell	Capacité : 72 Go Bande passante : 1 344 Go/s	TF32 : 126 TFLOPS FP32 : 52 TFLOPS FP16/BF16 : 266 TFLOPS FP8/INT8 : 533 TFLOPS FP4 : 970 TFLOPS Cœur RT : 196 TFLOPS	3 × Encodeur vidéo 3 × Décodeur vidéo	PCIe Gen5 x16 : 128 Go/s Prend en charge P2P	Prend en charge DX12, OpenGL 4.6, Vulkan 1.3, CUDA 12.8, OpenCL 3.0 et DirectCompute

  • Processeur : Processeurs AMD Turin-C avec une plage de fréquences de 3,3 GHz à 5 GHz et un turbo tous cœurs allant jusqu'à 4,2 GHz.

• Stockage :

  • Instance optimisée pour les E/S.

  • Prend en charge le protocole NVMe. Pour plus d'informations, consultez Présentation du protocole NVMe.

  • Types de disques cloud pris en charge : disque temporaire élastique, ESSD, disques ESSD AutoPL et Disque ESSD redondant par zone. Pour plus d'informations sur le stockage par blocs, consultez Présentation du stockage par blocs.

• Réseau :

  • Prend en charge IPv4 et IPv6. Pour plus d'informations sur la communication IPv6, consultez Communication IPv6.

  • Offre des performances réseau allant jusqu'à 30 millions de paquets par seconde (PPS).

  • Prend en charge ERI (Elastic RDMA Interface), qui permet l'accélération par pass-through RDMA sur les réseaux VPC. ERI augmente la bande passante à 360 Gbit/s et est idéal pour les charges de travail d'entraînement dans les domaines de la conduite autonome, de l'intelligence incarnée, de la vision par ordinateur (CV) et des modèles traditionnels.

    Remarque

    Pour obtenir des instructions sur l'utilisation d'ERI, consultez Activer eRDMA sur les instances de niveau entreprise.

Le tableau suivant répertorie les types d'instances et les spécifications de la famille d'instances ebmgn9ge.

Famille d'instances bare metal élastiques accélérées par GPU ebmgn9gc

• Présentation : La famille d'instances ebmgn9gc constitue la 9e génération d'instances bare metal GPU complètes et économiques d'Alibaba Cloud. Propulsées par le dernier CIPU 2.0, ces instances combinent des CPU haute fréquence, une mémoire de grande capacité et des GPU professionnels basés sur la nouvelle architecture Blackwell pour offrir des services cloud GPU rentables pour une large gamme de charges de travail accélérées, notamment l'entraînement à la conduite autonome et à l'intelligence incarnée, l'inférence de grands modèles, le rendu cinématographique et d'animation, ainsi que les services de métavers et de cloud gaming.

• Cas d'utilisation et fonctionnalités :

  • Conduite autonome et intelligence incarnée : Offre 256 vCPU avec une plage de fréquences de 3,3 GHz à 5,0 GHz et un turbo tous cœurs allant jusqu'à 4,2 GHz. Associés à 1,5 To de mémoire, ces instances répondent aux besoins de traitement des données pour l'entraînement à la conduite autonome et à l'intelligence incarnée.

  • Recherche et recommandation : Les GPU Blackwell intégrés fournissent 126 TFLOPS de calcul TF32 haute performance. Chaque GPU est associé à 32 vCPU et à une bande passante mémoire de 153 Go/s, ce qui constitue une configuration optimale pour les services de recherche et de publicité.

  • Inférence de grands modèles :

    Les instances ebmgn9gc sont conçues pour les grands modèles de langage. Avec 72 Go de mémoire GPU et une bande passante mémoire de 1 344 Go/s par GPU, elles offrent une inférence haute performance pour les scénarios LLM. Combinée à la nouvelle architecture de calcul FP4 et à une bande passante PCIe Gen5 de 128 Go/s, une instance à 8 cartes peut prendre en charge l'inférence parallèle de modèles dépassant 671 milliards de paramètres.

  • Cloud gaming, rendu et métavers : Avec une fréquence CPU pouvant atteindre 5,0 GHz, ces instances sont bien adaptées à la modélisation 3D. Les GPU prennent nativement en charge les fonctionnalités graphiques et fournissent des pilotes graphiques certifiés de niveau station de travail avec une accélération OpenGL complète, ce qui en fait un bon choix pour le développement haut de gamme de films et d'animations ainsi que pour la conception CAD.

• Propulsé par le dernier CIPU 2.0 :

  Le CIPU de 2e génération offre une puissance de traitement cloud supérieure et des capacités de calcul améliorées pour eRDMA, VPC et le stockage par blocs. Les instances bare metal permettent aux charges de travail d'accéder directement aux ressources physiques ou de répondre à des exigences telles que les licences basées sur le matériel. Elles prennent également en charge les conteneurs, tels que Docker, Clear Container et Pouch.

• Calcul :

  • Propulsé par des GPU professionnels basés sur la nouvelle architecture Blackwell :

    • Prend en charge les fonctionnalités de traitement graphique OpenGL de niveau professionnel.

    • Prend en charge les fonctionnalités d'accélération courantes telles que RTX et TensorRT, et ajoute la prise en charge de FP4 et de l'interconnexion PCIe Gen5.

    • Utilise un commutateur PCIe pour l'interconnexion, ce qui améliore les performances NCCL de 36 % par rapport à une connexion directe au CPU. Cela peut augmenter les performances jusqu'à 9 % pour l'inférence de grands modèles avec sharding multi-cartes.

  • Paramètres clés du GPU :

    Architecture GPU	Mémoire GPU	Performances de calcul	Encodage/décodage vidéo	Interconnexion GPU à GPU	API d'accélération
    Blackwell	Capacité : 72 Go Bande passante : 1 344 Go/s	TF32 : 126 TFLOPS FP32 : 52 TFLOPS FP16/BF16 : 266 TFLOPS FP8/INT8 : 533 TFLOPS FP4 : 970 TFLOPS Cœur RT : 196 TFLOPS	3 × Encodeur vidéo 3 × Décodeur vidéo	PCIe Gen5 x16 : 128 Go/s Prend en charge P2P	Prend en charge DX12, OpenGL 4.6, Vulkan 1.3, CUDA 12.8, OpenCL 3.0 et DirectCompute

  • Processeur : Processeur AMD Turin-C avec une plage de fréquences de 3,3 GHz à 5,0 GHz et un turbo tous cœurs allant jusqu'à 4,2 GHz.

• Stockage :

  • Instance optimisée pour les E/S.

  • Prend en charge le protocole NVMe. Pour plus d'informations, consultez Présentation du protocole NVMe.

  • Types de disques cloud pris en charge : Disque temporaire élastique, ESSD, ESSD AutoPL et Disque ESSD redondant par zone. Pour plus d'informations sur le stockage par blocs, consultez Présentation du stockage par blocs.

• Réseau :

  • Prend en charge IPv4 et IPv6. Pour plus d'informations sur la communication IPv6, consultez Communication IPv6.

  • Offre des performances réseau allant jusqu'à 30 millions de paquets par seconde (PPS).

  • Prend en charge eRDMA (elastic RDMA), qui permet l'accélération par pass-through RDMA sur les réseaux VPC. eRDMA augmente la bande passante à 360 Gbit/s et est idéal pour les charges de travail d'entraînement dans les domaines de la conduite autonome, de l'intelligence incarnée, de la vision par ordinateur (CV) et des modèles traditionnels.

    Remarque

    Pour obtenir des instructions sur l'utilisation d'eRDMA, consultez Activer eRDMA sur les instances de niveau entreprise.

Le tableau suivant répertorie les types d'instances et les spécifications de la famille d'instances ebmgn9gc.

Famille d'instances de serveur bare metal élastique optimisé pour le calcul GPU ebmgn8v

Cette famille d'instances est actuellement disponible uniquement dans certaines régions. Pour demander l'accès, contactez votre représentant commercial Alibaba Cloud.

• Présentation de la famille d'instances : ebmgn8v est la huitième génération de famille d'instances de calcul accéléré d'Alibaba Cloud (famille d'instances Elastic Bare Metal Server), conçue pour l'entraînement de modèles IA et les modèles à très grand nombre de paramètres. Chaque instance est un hôte bare metal équipé de huit cartes GPU.

• Cas d'utilisation :

  • Rentable pour l'inférence parallèle multi-GPU sur les grands modèles de langage (LLM) comportant plus de 70 milliards de paramètres.

  • Chaque GPU offre 39,5 TFLOPS de calcul FP32, ce qui le rend idéal pour l'entraînement de modèles IA traditionnels et les charges de travail de conduite autonome.

  • L'interconnexion NVLINK entre les huit GPU prend en charge les scénarios d'entraînement de modèles de petite et moyenne taille.

• Principales caractéristiques et positionnement :

  • Mémoire GPU haute vitesse et grande capacité : Chaque GPU dispose de 96 Go de mémoire HBM3, offrant une bande passante mémoire de 4 To/s. Cela accélère considérablement l'entraînement et l'inférence des modèles.

  • Bande passante inter-GPU élevée : Les GPU sont interconnectés via NVLINK à 900 Go/s, offrant une efficacité nettement supérieure pour l'entraînement et l'inférence multi-GPU par rapport aux générations précédentes de GPU.

  • Technologie de quantification des grands modèles : Prend en charge le calcul FP8, qui optimise les performances pour l'entraînement et l'inférence avec des paramètres à grande échelle. Cela augmente considérablement la vitesse de calcul et réduit l'utilisation de la mémoire GPU.

• Calcul :

  • Propulsé par la dernière version de CIPU (Cloud Processing Unit) 1.0 :

    • Découple le calcul et le stockage, permettant une sélection flexible des ressources de stockage. Par rapport aux instances GPU de 7e génération, la bande passante inter-hôtes est augmentée à 160 Gbit/s pour un transfert et un traitement des données plus rapides.

    • Contrairement aux instances virtualisées traditionnelles, CIPU fournit des capacités bare metal qui prennent en charge la communication P2P entre les instances GPU.

  • Propulsé par des processeurs Intel® Xeon® Scalables de 4e génération, offrant 192 vCPU avec une fréquence turbo tous cœurs atteignant 3,1 GHz.

• Stockage :

  • Il s'agit d'instances optimisées pour les E/S.

  • Ces instances prennent en charge le protocole NVMe. Pour plus d'informations, consultez Présentation du protocole NVMe.

  • Types de disques cloud pris en charge : disques temporaires élastiques, disques cloud ESSD, disques cloud ESSD AutoPL, et disques cloud ESSD redondants par zone. Pour plus d'informations sur les disques cloud, consultez Présentation du stockage par blocs.

• Réseau :

  • Ces instances prennent en charge IPv4 et IPv6. Pour obtenir des informations sur la communication IPv6, consultez Communication IPv6.

  • Offre des performances réseau ultra-élevées allant jusqu'à 30 millions de PPS.

  • Prend en charge l'interface RDMA élastique (ERI), qui permet l'accélération par pass-through RDMA sur les réseaux VPC. L'ERI augmente la bande passante à 160 Gbit/s et est idéale pour les charges de travail d'entraînement de modèles de vision par ordinateur (CV) et traditionnels.

    Remarque

    Pour obtenir des instructions sur l'utilisation de l'ERI, consultez Activer eRDMA sur les instances de niveau entreprise.

Le tableau suivant décrit les types d'instances et les spécifications de la famille d'instances ebmgn8v.

Famille d'instances ebmgn8ia accélérées par GPU

Cette famille d'instances est actuellement disponible uniquement dans certaines régions. Pour demander l'accès, contactez votre représentant commercial Alibaba Cloud.

• Présentation : La famille ebmgn8ia, une famille d'instances bare metal élastiques, constitue la huitième génération de famille d'instances de calcul accéléré d'Alibaba Cloud. Elle est conçue pour la recherche et la recommandation, la simulation et d'autres charges de travail intensives en GPU nécessitant un ratio vCPU/GPU élevé. Propulsées par les derniers GPU NVIDIA L20, chaque instance est un serveur bare metal équipé de deux processeurs haute fréquence et de quatre GPU.

• Caractéristiques et cas d'utilisation :

  • Haute fréquence : Ces instances sont équipées de deux processeurs AMD EPYC™ Genoa 9T34. Chaque processeur dispose de 64 cœurs physiques, offrant un total de 256 vCPU par instance, avec une plage de fréquences de 3,4 GHz à 3,75 GHz. Cela améliore considérablement les performances monocœur du CPU, ce qui le rend idéal pour la modélisation CAO et l'accélération du prétraitement pour les simulations CAE.

  • Ratio de ressources clairsemées : Chaque GPU est associé à 64 vCPU et 384 Go de mémoire, offrant une bande passante mémoire moyenne de 230 Go/s par GPU. Cette configuration convient aux scénarios de calcul GPU nécessitant un débit d'E/S élevé, tels que la publicité, la recherche, la recommandation, les simulations CAE traditionnelles et certaines tâches de rendu basées sur le CPU dans la production cinématographique.

• Propulsé par la dernière version de CIPU 1.0 :

  • Découple le calcul et le stockage, vous permettant de sélectionner les ressources de stockage de manière flexible. Par rapport à la génération précédente, la bande passante inter-machine de ce type d'instance est augmentée à 160 Gbit/s pour un transfert et un traitement des données plus rapides.

  • CIPU fournit des capacités bare metal, permettant la communication PCIe P2P entre les instances GPU, une amélioration par rapport aux instances virtualisées traditionnelles.

• Calcul :

  • Propulsé par de nouveaux GPU NVIDIA L20 de classe entreprise :

    • Prend en charge des fonctionnalités d'accélération courantes telles que vGPU, RTX et TensorRT.

    • Prend en charge la précision FP8 pour améliorer l'efficacité computationnelle.

  • Spécifications clés du NVIDIA L20 :

    Architecture GPU	Mémoire GPU	Performances de calcul	Moteurs d'encodage/décodage vidéo	Interconnexion GPU
    NVIDIA Ada Lovelace	Capacité : 48 Go Bande passante : 864 Go/s	FP64 : N/A FP32 : 59,3 TFLOPS FP16/BF16 : 119 TFLOPS FP8/INT8 : 237 TFLOPS	3 × Encodeur vidéo (+AV1) 3 × Décodeur vidéo 4 × Décodeur JPEG	Interface PCIe : PCIe Gen4 x16 Bande passante : 64 Go/s

  • Processeur : Processeurs AMD EPYC™ Genoa 9T34 avec une plage de fréquences de 3,4 GHz à 3,75 GHz.

• Stockage :

  • Il s'agit d'instances optimisées pour les E/S.

  • Ces instances prennent en charge le protocole NVMe. Pour plus d'informations, consultez Présentation du protocole NVMe.

  • Disques cloud pris en charge : disque temporaire élastique, disque cloud ESSD, disque cloud ESSD AutoPL, et disque cloud ESSD redondant par zone. Pour plus d'informations, consultez Présentation du stockage par blocs.

• Réseau :

  • Ces instances prennent en charge IPv4 et IPv6. Pour obtenir des informations sur la communication IPv6, consultez Communication IPv6.

  • Offre des performances réseau ultra-élevées allant jusqu'à 30 000 000 PPS.

  • Prend en charge l'interface RDMA élastique (ERI), qui permet le pass-through RDMA sur les réseaux VPC. L'ERI augmente la bande passante à 160 Gbit/s et est idéale pour l'entraînement des modèles de vision par ordinateur (CV) et traditionnels.

    Remarque

    Pour obtenir des instructions sur l'utilisation de l'ERI, consultez Activer eRDMA sur une instance de niveau entreprise.

Famille d'instances bare metal élastiques optimisées pour le calcul GPU ebmgn8is

Cette famille d'instances est actuellement disponible uniquement dans certaines régions hors de Chine continentale. Pour toute demande, contactez votre représentant commercial Alibaba Cloud.

• Présentation de la famille d'instances : La famille ebmgn8is constitue la huitième génération d'instances de calcul accéléré proposée par Alibaba Cloud. Conçue comme une famille d'instances bare metal élastiques, elle répond à la demande croissante liée aux charges de travail générées par l'IA. Équipées des derniers GPU NVIDIA L20, chaque instance fonctionne sur un hôte bare metal doté de huit cartes GPU.

• Caractéristiques et positionnement :

  • Traitement graphique : Ces instances s'appuient sur des processeurs Intel® Xeon® Scalable de 4e génération à haute fréquence. Elles offrent une puissance de calcul CPU suffisante pour la modélisation 3D, garantissant ainsi un rendu graphique et une conception plus fluides.

  • Tâches d'inférence : Propulsées par les nouveaux GPU NVIDIA L20, dont chaque carte dispose de 48 Go de mémoire pour accélérer les tâches d'inférence. Ces instances prennent en charge le format à virgule flottante FP8. Associées à Container Service for Kubernetes (ACK) d'Alibaba Cloud, elles permettent de prendre en charge avec flexibilité l'inférence sur divers modèles AIGC et conviennent particulièrement aux tâches d'inférence sur les grands modèles de langage (LLM) comptant jusqu'à 70 milliards de paramètres.

  • Tâches d'entraînement : Ces instances offrent une puissance de calcul rentable, délivrant le double des performances de calcul FP32 par rapport aux instances d'inférence de 7e génération. Elles sont particulièrement adaptées à l'entraînement des modèles de vision par ordinateur (CV) utilisant le format FP32, ainsi qu'à l'entraînement d'autres modèles de petite et moyenne taille.

• Cas d'utilisation :

  • Utilisez les images GRID avec les pilotes graphiques GRID disponibles sur Cloud Marketplace pour activer les capacités graphiques OpenGL et Direct3D. Cela fournit un traitement graphique de niveau station de travail pour des charges de travail telles que l'animation, les effets spéciaux cinématographiques et télévisuels, ainsi que le rendu.

  • En combinaison avec les capacités de gestion conteneurisée d'ACK, vous pouvez prendre en charge de manière plus efficace et rentable la génération graphique AIGC et l'inférence des grands modèles de langage (LLM) (jusqu'à 130 milliards de paramètres).

  • Autres scénarios d'IA généraux, tels que la reconnaissance d'images et la reconnaissance vocale.

• Propulsé par la dernière version de CIPU 1.0 :

  • Présente un découplage entre le calcul et le stockage, ce qui vous permet de sélectionner avec flexibilité les ressources de stockage requises. Par rapport à la génération précédente, la bande passante inter-instances de cette famille d'instances est portée à 160 Gbit/s pour permettre un transfert et un traitement des données plus rapides.

  • CIPU offre des fonctionnalités bare metal qui permettent la communication PCIe P2P entre les GPU, une capacité non prise en charge par les instances virtualisées traditionnelles.

• Calcul :

  • Propulsé par les nouveaux GPU NVIDIA L20 de classe entreprise :

    • Prend en charge les fonctionnalités d'accélération courantes telles que vGPU, RTX et TensorRT.

    • Utilise un commutateur PCIe pour l'interconnexion. Par rapport à une connexion directe au CPU, cette conception améliore les performances NCCL de 36 % et peut augmenter les performances d'inférence jusqu'à 9 % lors de l'exécution d'une inférence fragmentée pour les grands modèles sur plusieurs cartes.

  • Principaux paramètres du NVIDIA L20 :

    Architecture GPU	Mémoire GPU	Performances de calcul	Encodage/décodage vidéo	Interconnexion inter-GPU
    NVIDIA Ada Lovelace	Capacité : 48 Go Bande passante : 864 Go/s	FP64 : N/A FP32 : 59,3 TFLOPS FP16/BF16 : 119 TFLOPS FP8/INT8 : 237 TFLOPS	3 × Encodeur vidéo (+AV1) 3 × Décodeur vidéo 4 × Décodeur JPEG	Interface PCIe : PCIe Gen4 x16 Bande passante : 64 Go/s

  • Processeur : Processeurs Intel^® Xeon^® Scalable (SPR) avec une fréquence de base de 3,4 GHz et une fréquence turbo tous cœurs allant jusqu'à 3,9 GHz.

• Stockage :

  • Il s'agit d'instances optimisées pour les E/S.

  • Ces instances prennent en charge le protocole NVMe. Pour plus d'informations, consultez Présentation du protocole NVMe.

  • Types de disques cloud pris en charge : disques éphémères élastiques, ESSD, ESSD AutoPL et ESSD redondants inter-zones. Pour plus d'informations sur les disques cloud, consultez Présentation du stockage par blocs.

• Réseau :

  • Ces instances prennent en charge IPv4 et IPv6. Pour obtenir des informations sur la communication IPv6, consultez Communication IPv6.

  • Offre des performances réseau ultra-élevées avec un taux de transfert de paquets de 30 millions de PPS.

  • Prend en charge ERI (Elastic RDMA Interface), qui permet l'accélération par passthrough RDMA dans un réseau VPC. ERI augmente la bande passante à 160 Gbit/s et est idéal pour les charges de travail d'entraînement de modèles CV et traditionnels.

    Remarque

    Pour utiliser ERI, consultez Activer eRDMA sur les instances de niveau entreprise.

Famille d'instances Ebmgn7e

Après avoir démarré une instance ebmgn7e, vous devez vérifier si la fonctionnalité Multi-Instance GPU (MIG) est activée ou désactivée, car son état par défaut n'est pas garanti. Pour plus d'informations sur MIG, consultez le Guide d'utilisation NVIDIA Multi-Instance GPU.

Le tableau suivant indique si les instances ebmgn7e prennent en charge la fonctionnalité MIG.