ACS支援多種GPU卡型,使用者可以在叢集中使用alibabacloud.com/gpu-model-series標籤指定如下的GPU卡。不同類型GPU卡適用情境有所差別,使用者可以根據規格類型系列列表按需選擇。
GU8TF
GPU計算卡。
顯存容量提升至96 GB,支援FP8浮點數格式,支援70 B及更大模型的單機推理。
8卡之間支援NVLINK互聯,適用於中小模型訓練情境。節點間支援1.6T頻寬的高速RDMA互聯。
支援該GPU卡的Pod規格約束如下:
GPU | vCPU | Memory(GiB) | Memory支援步長(GiB) | 儲存(GiB) |
1(96G顯存) | 2 | 2 ~ 16 | 1 | 30 ~ 256 |
4 | 4 ~ 32 | 1 | ||
6 | 6 ~ 48 | 1 | ||
8 | 8 ~ 64 | 1 | ||
10 | 10 ~ 80 | 1 | ||
12 | 12 ~ 96 | 1 | ||
14 | 14 ~ 112 | 1 | ||
16 | 16 ~ 128 | 1 | ||
22 | 22, 32, 64, 128 | N/A | ||
2(96Gx2顯存) | 16 | 16 ~ 128 | 1 | 30 ~ 512 |
32 | 32, 64, 128, 230 | N/A | ||
46 | 64, 128, 230 | N/A | ||
4(96Gx4顯存) | 32 | 32, 64, 128, 256 | N/A | 30 ~ 1024 |
64 | 64, 128, 256, 460 | N/A | ||
92 | 128, 256, 460 | N/A | ||
8(96Gx8顯存) | 64 | 64, 128, 256, 512 | N/A | 30 ~ 2048 |
128 | 128, 256, 512, 920 | N/A | ||
184 | 256, 512, 920 | N/A |
GU8TEF
GPU計算卡。
顯存容量提升至141 GB,支援FP8浮點數格式,多卡形態下支援DeepSeek R1的單機推理。
8卡之間支援NVLINK互聯,適用於中小模型訓練情境。節點間支援1.6T頻寬的高速RDMA互聯。
支援該GPU卡的Pod規格約束如下:
GPU | vCPU | Memory(GiB) | Memory支援步長(GiB) | 儲存(GiB) |
1(141G顯存) | 2 | 2 ~ 16 | 1 | 30 ~ 768 |
4 | 4 ~ 32 | 1 | ||
6 | 6 ~ 48 | 1 | ||
8 | 8 ~ 64 | 1 | ||
10 | 10 ~ 80 | 1 | ||
12 | 12 ~ 96 | 1 | ||
14 | 14 ~ 112 | 1 | ||
16 | 16 ~ 128 | 1 | ||
22 | 22, 32, 64, 128, 225 | N/A | ||
2(141Gx2顯存) | 16 | 16 ~ 128 | 1 | 30 ~ 1536 |
32 | 32, 64, 128, 256 | N/A | ||
46 | 64, 128, 256, 450 | N/A | ||
4(141Gx4顯存) | 32 | 32, 64, 128, 256 | N/A | 30 ~ 3072 |
64 | 64, 128, 256, 512 | N/A | ||
92 | 128, 256, 512, 900 | N/A | ||
8(141Gx8顯存) | 64 | 64, 128, 256, 512 | N/A | 30 ~ 6144 |
128 | 128, 256, 512, 1024 | N/A | ||
184 | 256, 512, 1024, 1800 | N/A |
L20(GN8IS)
GPU計算卡。
支援TensorRT等常用加速功能,支援FP8浮點數格式,GPU間支援P2P通訊。
顯存容量提升至48 GB,多卡形態下,支援70 B及更大模型的單機推理。
支援該GPU卡的Pod規格約束如下:
GPU | vCPU | Memory(GiB) | Memory支援步長(GiB) | 儲存(GiB) |
1(48G顯存) | 2 | 2 ~ 16 | 1 | 30 ~ 256 |
4 | 4 ~ 32 | 1 | ||
6 | 6 ~ 48 | 1 | ||
8 | 8 ~ 64 | 1 | ||
10 | 10 ~ 80 | 1 | ||
12 | 12 ~ 96 | 1 | ||
14 | 14 ~ 112 | 1 | ||
16 | 16 ~ 120 | 1 | ||
2(48Gx2顯存) | 16 | 16 ~ 128 | 1 | 30 ~ 512 |
32 | 32, 64, 128, 230 | N/A | ||
4(48Gx4顯存) | 32 | 32, 64, 128, 256 | N/A | 30 ~ 1024 |
64 | 64, 128, 256, 460 | N/A | ||
8(48Gx8顯存) | 64 | 64, 128, 256, 512 | N/A | 30 ~ 2048 |
128 | 128, 256, 512,920 | N/A |
L20X(GX8SF)
GPU計算卡。
顯存容量提升至141 GB,多卡形態下,支援更大模型的單機推理。
8卡之間支援NVLINK互聯,適用於大模型訓練、推理情境。節點間支援3.2T頻寬的高速RDMA互聯。
支援該GPU卡的Pod規格約束如下:
GPU | vCPU | Memory(GiB) | Memory支援步長(GiB) | 儲存(GiB) |
8(141Gx8顯存) | 184 | 1800 | N/A | 30 ~ 6144 |
P16EN
GPU計算卡。
顯存容量提升至96 GB,支援FP16浮點數格式,多卡形態下支援DeepSeek R1的單機推理。
16卡之間支援700GB/s高速互聯,適用於中小模型訓練情境。節點間支援1.6T頻寬的高速RDMA互聯。
支援該GPU卡的Pod規格約束如下:
GPU | vCPU | Memory(GiB) | Memory支援步長(GiB) | 儲存 |
1(96G顯存) | 2 | 2~16 | 1 | 30G ~ 384G |
4 | 4~32 | 1 | ||
6 | 6~48 | 1 | ||
8 | 8~64 | 1 | ||
10 | 10~80 | 1 | ||
2(96Gx2顯存) | 4 | 4~32 | 1 | 30G ~ 768G |
6 | 6~48 | 1 | ||
8 | 8~64 | 1 | ||
16 | 16~128 | 1 | ||
22 | 32, 64, 128, 225 | N/A | ||
4(96Gx4顯存) | 8 | 8~64 | 1 | 30G ~ 1.5T |
16 | 16~128 | 1 | ||
32 | 32, 64, 128, 256 | N/A | ||
46 | 64, 128, 256, 450 | N/A | ||
8(96Gx8顯存) | 16 | 16~128 | 1 | 30G ~ 3T |
32 | 32, 64, 128, 256 | N/A | ||
64 | 64, 128, 256, 512 | N/A | ||
92 | 128, 256, 512, 900 | N/A | ||
16(96Gx16顯存) | 32 | 32, 64, 128, 256 | N/A | 30G ~ 6T |
64 | 64, 128, 256, 512 | N/A | ||
128 | 128, 256, 512, 1024 | N/A | ||
184 | 256, 512, 1024, 1800 | N/A |
G49E
GPU計算卡。
單GPU顯存48 GB,支援RTX、TensorRT等常用加速功能,GPU間支援P2P通訊。
支援該GPU卡的Pod規格約束如下:
GPU | vCPU | Memory(GiB) | Memory支援步長(GiB) | 儲存(GiB) |
1(48G顯存) | 2 | 2~16 | 1 | 30 ~ 256 |
4 | 4~32 | 1 | ||
6 | 6~48 | 1 | ||
8 | 8~64 | 1 | ||
10 | 10~80 | 1 | ||
12 | 12~96 | 1 | ||
14 | 14~112 | 1 | ||
16 | 16~120 | 1 | ||
2(48Gx2顯存) | 16 | 16~128 | 1 | 30 ~ 512 |
32 | 32, 64, 128, 230 | N/A | ||
4(48Gx4顯存) | 32 | 32, 64, 128, 256 | N/A | 30 ~ 1024 |
64 | 64, 128, 256, 460 | N/A | ||
8(48Gx8顯存) | 64 | 64, 128, 256, 512 | N/A | 30 ~ 2048 |
128 | 128, 256, 512, 920 | N/A |
T4
GPU計算卡。
Turing架構,單GPU顯存16 GB(GPU顯存頻寬320 GB/s)。
可變精度Tensor Cores支援65 TFLOPS FP16、130 INT8 TOPS以及260 INT4 TOPS。
支援該GPU卡的Pod規格約束如下:
規格類型系列 | GPU | vCPU | Memory(GiB) | Memory支援步長(GiB) | 儲存(GiB) |
單機規格類型系列 | 1(16G顯存) | 2 | 2~8 | 1 | 30 ~ 1536 |
4 | 4~16 | 1 | |||
6 | 6~24 | 1 | |||
8 | 8~32 | 1 | |||
10 | 10~40 | 1 | |||
12 | 12~48 | 1 | |||
14 | 14~56 | 1 | |||
16 | 16~64 | 1 | |||
24 | 24, 48, 90 | N/A | |||
2(16Gx2顯存) | 16 | 16~64 | 1 | ||
24 | 24, 48, 96 | N/A | |||
32 | 32, 64, 128 | N/A | |||
48 | 48, 96, 180 | N/A |
A10
GPU計算卡。
Ampere架構,單GPU顯存24 GB,支援RTX、TensorRT等常用加速功能。
支援該GPU卡的Pod規格約束如下:
GPU | vCPU | Memory(GiB) | Memory支援步長(GiB) | 儲存(GiB) |
1(24G顯存) | 2 | 2~8 | 1 | 30 ~ 256 |
4 | 4~16 | 1 | ||
6 | 6~24 | 1 | ||
8 | 8~32 | 1 | ||
10 | 10~40 | 1 | ||
12 | 12~48 | 1 | ||
14 | 14~56 | 1 | ||
16 | 16~60 | 1 | ||
2(24Gx2顯存) | 16 | 16~64 | 1 | 30 ~ 512 |
32 | 32, 64, 120 | N/A | ||
4(24Gx4顯存) | 32 | 32, 64, 128 | N/A | 30 ~ 1024 |
64 | 64, 128, 240 | N/A | ||
8(24Gx8顯存) | 64 | 64, 128, 256 | N/A | 30 ~ 2048 |
128 | 128, 256, 480 | N/A |
G59
GPU計算卡。
單GPU顯存32 GB,支援RTX、TensorRT等常用加速功能,GPU間支援P2P通訊。
支援該GPU卡的Pod規格約束如下:
GPU(卡) | vCPU | Memory(GiB) | Memory支援步長(GiB) | 儲存(GiB) | 網路 |
1(32G顯存) | 2 | 2 ~ 16 | 1 | 30 ~ 256 | 每vCPU 1Gbps |
4 | 4 ~ 32 | 1 | |||
6 | 6 ~ 48 | 1 | |||
8 | 8 ~ 64 | 1 | |||
10 | 10 ~ 80 | 1 | |||
12 | 12 ~ 96 | 1 | |||
14 | 14 ~ 112 | 1 | |||
16 | 16 ~ 128 | 1 | |||
22 | 22,32,64,128 | N/A | |||
2(32Gx2顯存) | 16 | 16 ~ 128 | 1 | 30 ~ 512 | |
32 | 32,64,128,256 | N/A | |||
46 | 64,128,256,360 | N/A | |||
4(32Gx4顯存) | 32 | 32,64,128,256 | N/A | 30 ~ 1024 | |
64 | 64,128,256,512 | N/A | |||
92 | 128,256,512,720 | N/A | |||
8(32Gx8顯存) | 64 | 64,128,256,512 | N/A | 30 ~ 2048 | |
128 | 128,256,512,1024 | N/A | 100Gbps | ||
184 | 256,512,1024,1440 | N/A |