GPU云服务器：GPU计算型实例规格族（gn/ebm/scc系列）

背景信息

在阅读各个实例规格族的特点及详细指标之前，您需要提前学习以下信息：

• 了解实例规格命名及分类：帮助您更好地理解实例规格族的命名及分类信息，了解各规格族之间差异，详参见实例规格分类与命名。

• 了解实例规格指标：提前了解实例规格的各项指标说明，请参见实例规格指标说明。

• 根据业务场景选择实例规格族：想获取更多关于如何在实际业务场景中选择合适的规格，请参见实例规格选型指导。

在确定您要选择的实例规格之后，您可能需要进一步了解以下信息：

• 查看实例可购买地域：各个地域下可供售卖的实例规格可能存在差异，实例的可购情况，您可以前往ECS实例可购买地域查看。

• 预估实例费用：想了解实例在不同付费方式下大概的花费，可使用阿里云的ECS价格计算器查看。

• 直接购买实例：可直接前往ECS购买页下单。

您可能还会关注：

• 查看已停售的规格族：如果在本页面没有找到您想要的实例规格族，可前往已停售的规格族群，详情请参见已停售的实例规格。

• 实例规格的变配情况：想获取某个实例规格是否支持变配到其他实例规格，由于可变配的实例规格之间有一定的限制，请参见规格变更限制与自检。

GPU计算型实例规格族gn8v/gn8v-tee

该实例目前仅支持海外等部分地域，如有需求，请联系阿里云销售人员。

• 规格族介绍：

  • gn8v：阿里云针对AI模型训练和超大参数量模型推理任务推出的第8代加速计算规格族（GPU计算型实例规格族），针对不同应用需求，为您提供1卡、2卡、4卡和8卡多种机型。

  • gn8v-tee：为了满足您使用大模型进行模型训练和推理的安全性要求，阿里云基于gn8v推出一款具有机密计算特性的第8代实例规格族。该实例在GPU计算过程中对数据进行加密，确保用户数据的安全性。

• 适用场景：

  • 对于70 B以上的LLM模型，进行多卡并行推理计算时性价比较高。

  • 单个GPU提供39.5 TFLOPS FP32算力，在传统AI模型训练和自动驾驶训练业务中性能突出。

  • 8卡之间支持NVLINK互联，适用于中小模型训练场景。

• 产品特色及定位：

  • 高速&大容量显存：每个GPU配备了96 GB容量的HBM3显存，且显存带宽可以达到4 TB/s，大幅加快了模型训练和推理速度。

  • 高卡间带宽：多个GPU卡之间通过900 GB/s NVLINK互联，多卡训练和推理的效率远超过历代GPU产品。

  • 大模型量化技术：支持FP8算力，对大规模参数训练和推理过程的算力进行优化，大幅提升训练和推理的计算速度，降低显存占用。

  • （仅限gn8v-tee系列产品）高安全性：支持CPU机密计算（Intel TDX）和GPU机密计算（NVIDIA CC）功能，闭环全链路模型推理的机密计算能力。对于模型推理和训练的安全性，开启机密计算能力保障用户推理数据和企业模型的安全。

• 计算：

  • 采用最新的CIPU 1.0云处理器。

    • 具有解耦计算和存储能力，可以灵活选择所需存储资源。

    • 提供裸金属能力，相对于传统虚拟化实例，可以支持GPU实例之间的P2P通信。

  • 采用Intel第4代Xeon可扩展处理器，全核睿频可达3.1 GHz，基频可达2.8 GHz。

• 存储：

  • I/O优化实例。

  • 支持NVMe协议。详情参见NVMe协议概述。

  • 支持的云盘类型：弹性临时盘、ESSD云盘、ESSD AutoPL云盘和ESSD同城冗余云盘。更多云盘信息，请参见块存储概述。

• 网络：

  • 支持IPv4、IPv6。关于IPv6通信，请参见IPv6通信。

  • 支持巨型帧（Jumbo frames）。更多信息，请参见巨型帧（Jumbo Frames）。

  • 超高网络性能，最大3000万PPS网络收发包能力（8卡实例）。

  • 支持ERI（Elastic RDMA Interface）。

  • 说明

    关于ERI的使用说明，请参见在企业级实例上启用eRDMA。

• 安全：支持可信计算（vTPM）特性（仅gn8v支持，gn8v-tee不支持）。更多详情，请参见可信计算能力概述。

gn8v包括的实例规格及指标数据如下表所示：

gn8v-tee包括的实例规格及指标数据如下表所示：

GPU计算型实例规格族gn8is

该实例目前仅支持海外等部分地域，如有需求，请联系阿里云销售人员。

• 规格族介绍：gn8is是阿里云针对近期AI生成业务的发展推出的第8代加速计算规格族（GPU计算型实例规格族），针对不同应用需求，采用最新NVIDIA L20 GPU，为您提供1卡、2卡、4卡和8卡机型，以及不同CPU和GPU配比的实例规格。

• 产品特色及定位：

  • 图形处理：该产品采用Intel第4代Xeon Scalable高主频处理器，在3D建模场景中，为您提供足够的CPU算力支撑，使得图形的渲染和设计更加顺畅。

  • 推理任务：采用全新NVIDIA L20，单卡配置48 GB显存来加速推理任务，支持FP8浮点数格式，搭配ACK容器可灵活支持各类AIGC模型的推理，尤其适用于70 B以下LLM模型的推理任务。

• 适用场景：

  • 结合云市场的GRID镜像使用GRID驱动，启动OpenGL和Direct3D图形能力，提供工作站级图形处理能力，适用于动漫、影视特效制作和渲染。

  • 结合ACK容器化管理能力，更高效、低成本地支撑AIGC图形生成和LLM大模型推理。

  • 其他通用AI识别场景、图像识别、语音识别等。

• 计算：

  • 采用全新NVIDIA L20企业级GPU。

    • 支持TensorRT等常用加速功能，支持FP8浮点数格式，提升模型推理性能。

    • 显存容量提升至48 GB，多卡情况下，支持70 B及更大模型的单机推理。

    • 支持图形处理能力，例如通过云助手方式或选择云市场镜像方式安装GRID驱动后，图形处理性能相对7代平台提升1倍。

  • NVIDIA L20主要参数：

    GPU架构	GPU显存	计算性能	视频编解码能力	卡间互联
    NVIDIA Ada Lovelace	容量：48 GB 带宽：864GB/s	FP64: N/A FP32: 59.3 TFLOPS FP16/BF16: 119 TFLOPS FP8/INT8: 237 TFLOPS	3 * Video Encoder（+AV1） 3 * Video Decoder 4 * JPEG Decoder	PCIe接口：PCIe Gen4 x16 带宽：64GB/s

  • 处理器：采用最新的Intel ^® Xeon ^®高主频处理器，全核睿频可达3.9 GHz，以应对更复杂的3D建模需求。

• 存储：

  • I/O优化实例。

  • 支持NVMe协议。详情参见NVMe协议概述。

  • 支持的云盘类型：弹性临时盘、ESSD云盘、ESSD AutoPL云盘和ESSD同城冗余云盘。更多云盘信息，请参见块存储概述。

• 网络：

  • 支持IPv4、IPv6。关于IPv6通信，参见IPv6通信。

  • 支持ERI（Elastic RDMA Interface）。

    说明

    关于ERI的使用说明，请参见在企业级实例上启用eRDMA。

• 安全：支持可信计算（vTPM）特性。更多详情，请参见可信计算能力概述。

GPU计算型实例规格族gn7e

GPU计算型实例规格族gn7i

GPU计算型实例规格族gn7s

如需使用gn7s，请提交工单申请。

GPU计算型实例规格族gn7

GPU计算型实例规格族gn6i

GPU计算型实例规格族gn6e

GPU计算型实例规格族gn6v

GPU计算型弹性裸金属服务器实例规格族ebmgn9g

• 规格族介绍：ebmgn9g是阿里云推出的第9代全功能高性价比GPU裸金属实例。采用最新一代CIPU2.0提供云服务能力，搭配高主频CPU，大容量内存和全新Blackwell架构专业显卡，为自动驾驶/具身智能训练，大模型推理，影视动漫渲染，元宇宙/云游戏服务等各类GPU加速场景提供高性价比的GPU云服务能力。

• 适用场景及产品特色：

  • 自动驾驶/具身智能：
    提供256vCPU，CPU全核最高工作于4.2GHz以上，搭配2.3T大容量内存，支撑自动驾驶/具身智能训练中的数据处理业务需求。

  • 搜索推荐：
    搭配的Blackwell GPU提供137T高性能TF32算力，平均每张GPU搭配32vCPU和153GB/s内存带宽，为搜索，广告业务提供最佳的配置组合。

  • 大模型推理：
    全新一代GPU提供超越8代的全新算力，显存带宽提升至1344GB/s，新支持FP4算力全面提升推理性能和性价比。8张GPU基于PCIe Gen5互联，带宽达到128GB/s，多卡并行推理效率大大提升。

  • 云游戏/渲染/元宇宙：
    CPU最高可达5GHz高主频，是3D建模的顶级选择，GPU原生支持图形能力，提供通过专业设计认证的工作站级图形驱动，支持OpenGL全功能加速，是高端影视动漫开发，CAD设计的最优选择。

• 采用最新的CIPU 2.0云处理器：

  第2代CIPU提供更高的云处理算力，提供更强的eRDMA，VPC，EBS组件算力。裸金属实例可直接访问物理资源，或者需要License绑定硬件等要求的工作负载。支持容器（包括但不限于Docker、Clear Container、Pouch等）。

• 计算：

  • 采用全新Blackwell架构专业显卡：

    • 支持OpenGL 专业级图形处理功能

    • 支持RTX、TensorRT等常用加速功能，全新升级支持FP4和PCIe Gen5互联。

    • 采用PCIe Switch互联，相比直连CPU方案，其NCCL性能提升36%，多卡分片大模型推理时，性能最大提升9%。

  • GPU主要参数：

    GPU架构	GPU显存	计算性能	视频编解码能力	卡间互联	加速APIs
    Blackwell	容量：48 GB 带宽：1344GB/s	TF32: 126 TFLOPS FP32: 52 TFLOPS FP16/BF16: 266 TFLOPS FP8/INT8: 533 TFLOPS FP4: 970 TFLOPS RT core: 196 TFLOPS	3 * Video Encoder 3 * Video Decoder	PCIe Gen5 x16: 128GB/s 支持P2P	支持DX12、 OpenGL4.6、Vulkan1.3、CUDA12.8、Open CL3.0、DirectCompute

  • 处理器：3.3GHz-5GHz主频的 AMD Turin-C 处理器（SPR），全核最高可达4.2GHz。

• 存储：

  • I/O优化实例。

  • 支持NVMe协议。详情参见NVMe协议概述。

  • 支持的云盘类型：弹性临时盘、ESSD云盘、ESSD AutoPL云盘和ESSD同城冗余云盘。更多云盘信息，请参见块存储概述。

• 网络：

  • 支持IPv4、IPv6。关于IPv6通信，参见IPv6通信。

  • 超高网络性能，3000万PPS网络收发包能力。

  • 支持ERI（Elastic RDMA Interface），可以在VPC网络下实现RDMA直通加速互联，将带宽提升至360 Gbit/s，可用于自动驾驶，具身智能，CV和传统模型的训练业务。

    说明

    关于ERI的使用说明，请参见在企业级实例上启用eRDMA。

ebmgn9g包括的实例规格及指标数据如下表所示。

GPU计算型弹性裸金属服务器实例规格族ebmgn9ge

• 规格族介绍：ebmgn9ge是阿里云推出的第9代全功能高性价比GPU裸金属实例。采用最新一代CIPU2.0提供云服务能力，搭配高主频CPU，大容量内存和全新Blackwell架构专业显卡，为自动驾驶/具身智能训练，大模型推理，影视动漫渲染，元宇宙/云游戏服务等各类GPU加速场景提供高性价比的GPU云服务能力。

• 适用场景及产品特色：

  • 自动驾驶/具身智能：
    提供256vCPU，CPU全核最高工作于4.2GHz以上，搭配2.3T大容量内存，支撑自动驾驶/具身智能训练中的数据处理业务需求。

  • 搜索推荐：
    搭配的Blackwell GPU提供137T高性能TF32算力，平均每张GPU搭配32vCPU和153GB/s内存带宽，为搜索，广告业务提供最佳的配置组合。

  • 大模型推理：

    ebmgn9ge专为大语言模型提供单卡72G大显存算力，同时显存带宽达到1344GB/s，为LLM场景提供高性能推理算力，配合全新FP4计算架构，和128GB/s的第5代PCIe带宽，可以支持8卡并行671B以上的大模型推理。

  • 云游戏/渲染/元宇宙：
    CPU最高可达5GHz高主频，是3D建模的顶级选择，GPU原生支持图形能力，提供通过专业设计认证的工作站级图形驱动，支持OpenGL全功能加速，是高端影视动漫开发，CAD设计的最优选择。

• 采用最新的CIPU 2.0云处理器：

  第2代CIPU提供更高的云处理算力，提供更强的eRDMA、VPC、EBS组件算力。裸金属实例可直接访问物理资源，或者需要License绑定硬件等要求的工作负载。支持容器（包括但不限于Docker、Clear Container、Pouch等）。

• 计算：

  • 采用全新Blackwell架构专业显卡：

    • 支持OpenGL 专业级图形处理功能

    • 支持RTX、TensorRT等常用加速功能，全新升级支持FP4和PCIe Gen5互联。

    • 采用PCIe Switch互联，相比直连CPU方案，其NCCL性能提升36%，多卡分片大模型推理时，性能最大提升9%。

  • GPU主要参数：

    GPU架构	GPU显存	计算性能	视频编解码能力	卡间互联	加速APIs
    Blackwell	容量：72 GB 带宽：1344GB/s	TF32: 126 TFLOPS FP32: 52 TFLOPS FP16/BF16: 266 TFLOPS FP8/INT8: 533 TFLOPS FP4: 970 TFLOPS RT core: 196 TFLOPS	3 * Video Encoder 3 * Video Decoder	PCIe Gen5 x16: 128GB/s 支持P2P	支持DX12、 OpenGL4.6、Vulkan1.3、CUDA12.8、Open CL3.0、DirectCompute

  • 处理器：3.3GHz-5GHz主频的 AMD Turin-C 处理器（SPR），全核最高可达4.2GHz。

• 存储：

  • I/O优化实例。

  • 支持NVMe协议。详情参见NVMe协议概述。

  • 支持的云盘类型：弹性临时盘、ESSD云盘、ESSD AutoPL云盘和ESSD同城冗余云盘。更多云盘信息，请参见块存储概述。

• 网络：

  • 支持IPv4、IPv6。关于IPv6通信，参见IPv6通信。

  • 超高网络性能，3000万PPS网络收发包能力。

  • 支持ERI（Elastic RDMA Interface），可以在VPC网络下实现RDMA直通加速互联，将带宽提升至360 Gbit/s，可用于自动驾驶，具身智能，CV和传统模型的训练业务。

    说明

    关于ERI的使用说明，请参见在企业级实例上启用eRDMA。

ebmgn9ge包括的实例规格及指标数据如下表所示。

GPU计算型弹性裸金属服务器实例规格族ebmgn9gc

• 规格族介绍：ebmgn9gc是阿里云推出的第9代全功能高性价比GPU裸金属实例。采用最新一代CIPU2.0提供云服务能力，搭配高主频CPU，大容量内存和全新Blackwell架构专业显卡，为自动驾驶/具身智能训练，大模型推理，影视动漫渲染，元宇宙/云游戏服务等各类GPU加速场景提供高性价比的GPU云服务能力。

• 适用场景及产品特色：

  • 自动驾驶/具身智能：
    提供256vCPU，CPU全核最高工作于4.2GHz以上，搭配2.3T大容量内存，支撑自动驾驶/具身智能训练中的数据处理业务需求。

  • 搜索推荐：
    搭配的Blackwell GPU提供137T高性能TF32算力，平均每张GPU搭配32vCPU和153GB/s内存带宽，为搜索，广告业务提供最佳的配置组合。

  • 大模型推理：

    ebmgn9gc专为大语言模型提供单卡72G大显存算力，同时显存带宽达到1344GB/s，为LLM场景提供高性能推理算力，配合全新FP4计算架构，和128GB/s的第5代PCIe带宽，可以支持8卡并行671B以上的大模型推理。

  • 云游戏/渲染/元宇宙：
    CPU最高可达5GHz高主频，是3D建模的顶级选择，GPU原生支持图形能力，提供通过专业设计认证的工作站级图形驱动，支持OpenGL全功能加速，是高端影视动漫开发，CAD设计的最优选择。

• 采用最新的CIPU 2.0云处理器：

  第2代CIPU提供更高的云处理算力，提供更强的eRDMA、VPC、EBS组件算力。裸金属实例可直接访问物理资源，或者需要License绑定硬件等要求的工作负载。支持容器（包括但不限于Docker、Clear Container、Pouch等）。

• 计算：

  • 采用全新Blackwell架构专业显卡：

    • 支持OpenGL 专业级图形处理功能

    • 支持RTX、TensorRT等常用加速功能，全新升级支持FP4和PCIe Gen5互联。

    • 采用PCIe Switch互联，相比直连CPU方案，其NCCL性能提升36%，多卡分片大模型推理时，性能最大提升9%。

  • GPU主要参数：

    GPU架构	GPU显存	计算性能	视频编解码能力	卡间互联	加速APIs
    Blackwell	容量：72 GB 带宽：1344GB/s	TF32: 126 TFLOPS FP32: 52 TFLOPS FP16/BF16: 266 TFLOPS FP8/INT8: 533 TFLOPS FP4: 970 TFLOPS RT core: 196 TFLOPS	3 * Video Encoder 3 * Video Decoder	PCIe Gen5 x16: 128GB/s 支持P2P	支持DX12、 OpenGL4.6、Vulkan1.3、CUDA12.8、Open CL3.0、DirectCompute

  • 处理器：3.3GHz-5GHz主频的 AMD Turin-C 处理器（SPR），全核最高可达4.2GHz。

• 存储：

  • I/O优化实例。

  • 支持NVMe协议。详情参见NVMe协议概述。

  • 支持的云盘类型：弹性临时盘、ESSD云盘、ESSD AutoPL云盘和ESSD同城冗余云盘。更多云盘信息，请参见块存储概述。

• 网络：

  • 支持IPv4、IPv6。关于IPv6通信，参见IPv6通信。

  • 超高网络性能，3000万PPS网络收发包能力。

  • 支持ERI（Elastic RDMA Interface），可以在VPC网络下实现RDMA直通加速互联，将带宽提升至360 Gbit/s，可用于自动驾驶，具身智能，CV和传统模型的训练业务。

    说明

    关于ERI的使用说明，请参见在企业级实例上启用eRDMA。

ebmgn9gc包括的实例规格及指标数据如下表所示。

GPU计算型弹性裸金属服务器实例规格族ebmgn9gc

• 规格族介绍：ebmgn9gc是阿里云推出的第9代全功能高性价比GPU裸金属实例。采用最新一代CIPU2.0提供云服务能力，搭配高主频CPU，大容量内存和全新Blackwell架构专业显卡，为自动驾驶/具身智能训练，大模型推理，影视动漫渲染，元宇宙/云游戏服务等各类GPU加速场景提供高性价比的GPU云服务能力。

• 适用场景及产品特色：

  • 自动驾驶/具身智能：
    提供256vCPU，CPU全核最高工作于4.2GHz以上，搭配2.3T大容量内存，支撑自动驾驶/具身智能训练中的数据处理业务需求。

  • 搜索推荐：
    搭配的Blackwell GPU提供137T高性能TF32算力，平均每张GPU搭配32vCPU和153GB/s内存带宽，为搜索，广告业务提供最佳的配置组合。

  • 大模型推理：

    ebmgn9gc专为大语言模型提供单卡72G大显存算力，同时显存带宽达到1344GB/s，为LLM场景提供高性能推理算力，配合全新FP4计算架构，和128GB/s的第5代PCIe带宽，可以支持8卡并行671B以上的大模型推理。

  • 云游戏/渲染/元宇宙：
    CPU最高可达5GHz高主频，是3D建模的顶级选择，GPU原生支持图形能力，提供通过专业设计认证的工作站级图形驱动，支持OpenGL全功能加速，是高端影视动漫开发，CAD设计的最优选择。

• 采用最新的CIPU 2.0云处理器：

  第2代CIPU提供更高的云处理算力，提供更强的eRDMA、VPC、EBS组件算力。裸金属实例可直接访问物理资源，或者需要License绑定硬件等要求的工作负载。支持容器（包括但不限于Docker、Clear Container、Pouch等）。

• 计算：

  • 采用全新Blackwell架构专业显卡：

    • 支持OpenGL 专业级图形处理功能

    • 支持RTX、TensorRT等常用加速功能，全新升级支持FP4和PCIe Gen5互联。

    • 采用PCIe Switch互联，相比直连CPU方案，其NCCL性能提升36%，多卡分片大模型推理时，性能最大提升9%。

  • GPU主要参数：

    GPU架构	GPU显存	计算性能	视频编解码能力	卡间互联	加速APIs
    Blackwell	容量：72 GB 带宽：1344GB/s	TF32: 126 TFLOPS FP32: 52 TFLOPS FP16/BF16: 266 TFLOPS FP8/INT8: 533 TFLOPS FP4: 970 TFLOPS RT core: 196 TFLOPS	3 * Video Encoder 3 * Video Decoder	PCIe Gen5 x16: 128GB/s 支持P2P	支持DX12、 OpenGL4.6、Vulkan1.3、CUDA12.8、Open CL3.0、DirectCompute

  • 处理器：3.3GHz-5GHz主频的 AMD Turin-C 处理器（SPR），全核最高可达4.2GHz。

• 存储：

  • I/O优化实例。

  • 支持NVMe协议。详情参见NVMe协议概述。

  • 支持的云盘类型：弹性临时盘、ESSD云盘、ESSD AutoPL云盘和ESSD同城冗余云盘。更多云盘信息，请参见块存储概述。

• 网络：

  • 支持IPv4、IPv6。关于IPv6通信，参见IPv6通信。

  • 超高网络性能，3000万PPS网络收发包能力。

  • 支持ERI（Elastic RDMA Interface），可以在VPC网络下实现RDMA直通加速互联，将带宽提升至360 Gbit/s，可用于自动驾驶，具身智能，CV和传统模型的训练业务。

    说明

    关于ERI的使用说明，请参见在企业级实例上启用eRDMA。

ebmgn9gc包括的实例规格及指标数据如下表所示。

GPU计算型弹性裸金属服务器实例规格族ebmgn8v

该实例目前仅支持海外等部分地域，如有需求，请联系阿里云销售人员。

• 规格族介绍：ebmgn8v是阿里云为AI模型训练和超大参数量模型推出的第8代加速计算规格族（弹性裸金属实例规格族），每个实例是1台采用了8个GPU卡裸金属主机。

• 适用场景：

  • 对于70 B以上的LLM模型，进行多卡并行推理计算时性价比较高。

  • 单个GPU提供39.5 TFLOPS FP32算力，在传统AI模型训练和自动驾驶训练业务中性能突出。

  • 8卡之间支持NVLINK互联，适用于中小模型训练场景。

• 产品特色及定位：

  • 高速&大容量显存：每个GPU配备了96 GB容量的HBM3显存，显存带宽达到4 TB/s，大幅加快了模型训练和推理速度。

  • 高卡间带宽：多GPU卡之间通过900 GB/s NVLINK互联，多卡训练和推理的效率远超过历代GPU产品。

  • 大模型量化技术：支持FP8算力，对大规模参数训练和推理过程的算力进行优化，大幅提升训练和推理的计算速度，降低显存占用。

• 计算：

  • 采用最新的CIPU 1.0云处理器：

    • 具有解耦计算和存储能力，可以灵活选择所需存储资源。相对于第七代GPU实例，该实例规格的机器间带宽提升至160 Gbit/s，可以更快地完成数据传输和处理。

    • CIPU提供裸金属能力，相对于传统虚拟化实例，可以支持GPU实例之间的P2P通信。

  • 采用Intel第4代Xeon可扩展处理，提供192个vCPU，全核睿频可达3.1 GHz。

• 存储：

  • I/O优化实例。

  • 支持NVMe协议。详情参见NVMe协议概述。

  • 支持的云盘类型：弹性临时盘、ESSD云盘、ESSD AutoPL云盘和ESSD同城冗余云盘。更多云盘信息，请参见块存储概述。

• 网络：

  • 支持IPv4、IPv6。关于IPv6通信，参见IPv6通信。

  • 超高网络性能，3000万PPS网络收发包能力。

  • 支持ERI（Elastic RDMA Interface），可以在VPC网络下实现RDMA直通加速互联，将带宽提升至160 Gbit/s，可用于CV和传统模型的训练业务。

    说明

    关于ERI的使用说明，请参见在企业级实例上启用eRDMA。

ebmgn8v包括的实例规格及指标数据如下表所示。

GPU计算型弹性裸金属服务器实例规格族ebmgn8ia

该实例目前仅支持海外等部分地域，如有需求，请联系阿里云销售人员。

• 规格族介绍：ebmgn8ia是阿里云针对搜索推荐、仿真和其他GPU计算稀疏类（平均每颗GPU需要配备比较多的vCPU资源）业务的发展推出的第8代加速计算规格族（弹性裸金属实例规格族），采用最新NVIDIA L20 GPU，每个实例为一台采用了2颗高主频CPU和4个GPU计算卡的裸金属主机。

• 产品特色及适用场景：

  • 高主频：该产品配置了2颗AMD EPYC™ Genoa 9T34处理器，每颗处理有64个物理核，整机提供256个vCPU，主频高达3.4-3.75GHz。大幅提高CPU单核性能，适用于CAD建模，并提升CAE仿真的前期预处理速度。

  • 稀疏资源配比：平均GPU配置了64 vCPU和384 GiB内存，平均每个GPU的内存带宽达到230 GB/s, 适合高I/O吞吐的GPU计算场景，如广告、搜索、推荐以及传统CAE仿真，部分采用CPU渲染的影视制作等。

• 采用最新的CIPU 1.0云处理器：

  • 具有解耦计算和存储能力，可以灵活选择所需存储资源。相对于上一代，该实例规格的机器间带宽提升至160 Gbit/s，可以更快地完成数据传输和处理。

  • CIPU提供裸金属能力，相对于传统虚拟化实例，可以支持GPU实例之间的PCIe P2P通信。

• 计算：

  • 采用全新NVIDIA L20企业级GPU：

    • 支持vGPU、RTX、TensorRT等常用加速功能。

    • 支持FP8精度，提升计算效率。

  • NVIDIA L20主要参数：

    GPU架构	GPU显存	计算性能	视频编解码能力	卡间互联
    NVIDIA Ada Lovelace	容量：48 GB 带宽：864 GB/s	FP64: N/A FP32: 59.3 TFLOPS FP16/BF16: 119 TFLOPS FP8/INT8: 237 TFLOPS	3 * Video Encoder（+AV1） 3 * Video Decoder 4 * JPEG Decoder	PCIe接口：PCIe Gen4 x16 带宽：64 GB/s

  • 处理器：3.4 GHz~3.75 GHz的AMD EPYC™ Genoa 9T34处理器。

• 存储：

  • I/O优化实例。

  • 支持NVMe协议。详情参见NVMe协议概述。

  • 支持的云盘类型：弹性临时盘、ESSD云盘、ESSD AutoPL云盘和ESSD同城冗余云盘。更多云盘信息，请参见块存储概述。

• 网络：

  • 支持IPv4、IPv6。关于IPv6通信，参见IPv6通信。

  • 超高网络性能，3000万PPS网络收发包能力。

  • 支持ERI（Elastic RDMA Interface），可以在VPC网络下实现RDMA直通加速互联，将带宽提升至160 Gbit/s，可用于CV和传统模型的训练业务。

    说明

    关于ERI的使用说明，请参见在企业级实例上启用eRDMA。

GPU计算型弹性裸金属服务器实例规格族ebmgn8is

该实例目前仅支持海外等部分地域，如有需求，请联系阿里云销售人员。

• 规格族介绍：ebmgn8is是阿里云针对近期AI生成业务的发展推出的第8代加速计算规格族（弹性裸金属实例规格族），采用最新NVIDIA L20 GPU，每个实例为一台采用了8个GPU计算卡的裸金属主机。

• 产品特色及定位：

  • 图形处理：该产品采用Intel第4代Xeon Scalable高主频处理器，在3D建模场景，为您提供足够的CPU算力支撑，使得图形的渲染和设计更加顺畅。

  • 推理任务：采用全新NVIDIA L20，单卡配置48 GB显存来加速推理任务，支持FP8浮点数格式，搭配ACK容器可灵活支持各类AIGC模型的推理，尤其适用于70 B以下LLM模型的推理任务。

  • 训练任务：该实例提供高性价比的计算能力，FP32计算性能相比7代推理实例提升1倍，特别适用于基于FP32开发的CV类模型和其他各类中小模型的训练。

• 适用场景：

  • 结合云市场的GRID镜像使用GRID图形驱动，启动OpenGL和Direct3D图形能力，提供工作站级图形处理能力，适用于动漫、影视特效制作和渲染

  • 结合ACK容器化管理能力，更高效、低成本地支撑AIGC图形生成和LLM大模型推理（最大支持130 B）

  • 其他通用AI识别场景、图像识别、语音识别等

• 采用最新的CIPU 1.0云处理器：

  • 具有解耦计算和存储能力，可以灵活选择所需存储资源。相对于上一代，该实例规格的机器间带宽提升至160 Gbit/s，可以更快地完成数据传输和处理。

  • CIPU提供裸金属能力，相对于传统虚拟化实例，可以支持GPU实例之间的PCIE P2P通信。

• 计算：

  • 采用全新NVIDIA L20企业级GPU：

    • 支持vGPU、RTX、TensorRT等常用加速功能。

    • 采用PCIe Switch互联，相比直连CPU方案，其NCCL性能提升36％，多卡分片推理大模型时，推理性能最大提升9%。

  • NVIDIA L20主要参数：

    GPU架构	GPU显存	计算性能	视频编解码能力	卡间互联
    NVIDIA Ada Lovelace	容量：48 GB 带宽：864 GB/s	FP64: N/A FP32: 59.3 TFLOPS FP16/BF16: 119 TFLOPS FP8/INT8: 237 TFLOPS	3 * Video Encoder（+AV1） 3 * Video Decoder 4 * JPEG Decoder	PCIe接口：PCIe Gen4 x16 带宽：64 GB/s

  • 处理器：3.4 GHz主频的Intel ^® Xeon ^®可扩展处理器（SPR），全核睿频可达3.9 GHz。

• 存储：

  • I/O优化实例。

  • 支持NVMe协议。详情参见NVMe协议概述。

  • 支持的云盘类型：弹性临时盘、ESSD云盘、ESSD AutoPL云盘和ESSD同城冗余云盘。更多云盘信息，请参见块存储概述。

• 网络：

  • 支持IPv4、IPv6。关于IPv6通信，参见IPv6通信。

  • 超高网络性能，3000万PPS网络收发包能力。

  • 支持ERI（Elastic RDMA Interface），可以在VPC网络下实现RDMA直通加速互联，将带宽提升至160 Gbit/s，可用于CV和传统模型的训练业务。

    说明

    关于ERI的使用说明，请参见在企业级实例上启用eRDMA。

GPU计算型弹性裸金属服务器实例规格族ebmgn7e

MIG（Multi-Instance GPU）功能需要您在ebmgn7e实例启动后自行检查并决定是否开启或关闭，系统无法保证MIG（Multi-Instance GPU）功能是开启或关闭状态。关于MIG（Multi-Instance GPU）的更多信息，请参见NVIDIA Multi-Instance GPU User Guide。

ebmgn7e实例是否支持开启MIG功能的说明如下所示：

GPU计算型弹性裸金属服务器实例规格族ebmgn7i

GPU计算型弹性裸金属服务器实例规格族ebmgn7

MIG（Multi-Instance GPU）功能需要您在ebmgn7实例启动后自己检查并决定是否开启或关闭，系统无法保证MIG（Multi-Instance GPU）功能是开启还是关闭状态。关于MIG（Multi-Instance GPU）的更多信息，请参见NVIDIA Multi-Instance GPU User Guide。

ebmgn7实例是否支持开启MIG功能的说明如下所示：

GPU计算型弹性裸金属服务器实例规格族ebmgn6e

GPU计算型弹性裸金属服务器实例规格族ebmgn6v

GPU计算型弹性裸金属服务器实例规格族ebmgn6i

GPU计算型实例规格族gn5i

GPU计算型实例规格族gn5