Instans yang dioptimalkan untuk komputasi dengan akselerasi GPU menawarkan performa tinggi serta kemampuan komputasi paralel yang sangat baik, cocok untuk skenario komputasi berskala besar. Anda dapat menggunakan instans ini untuk meningkatkan performa komputasi dan efisiensi bisnis Anda. Topik ini menjelaskan fitur keluarga instans yang dioptimalkan untuk komputasi dengan akselerasi GPU dari Elastic Compute Service (ECS) dan mencantumkan tipe instans dalam setiap keluarga.
Informasi latar belakang
Sebelum melanjutkan, pastikan Anda memahami informasi berikut:
Klasifikasi dan Penamaan Tipe Instans. Pelajari kategori keluarga instans, konvensi penamaan tipe instans, dan perbedaan antar keluarga instans. Untuk informasi lebih lanjut, lihat Klasifikasi dan Penamaan Tipe Instans.
Metrik tipe instans. Untuk informasi lebih lanjut tentang metrik tipe instans, lihat Metrik tipe instans. Anda juga dapat memanggil operasi DescribeInstanceTypeFamilies dan DescribeInstanceTypes untuk menanyakan keluarga instans yang disediakan oleh ECS serta detail semua tipe instans.
Petunjuk Memilih Tipe Instans Berdasarkan Skenario Bisnis Anda. Untuk informasi lebih lanjut, lihat Pemilihan Tipe Instans.
Setelah menentukan tipe instans untuk kasus penggunaan Anda, pelajari informasi berikut:
Wilayah tempat tipe instans tersedia untuk pembelian. Tipe instans yang dapat dibeli bervariasi berdasarkan wilayah. Untuk melihat tipe instans yang tersedia di setiap wilayah, kunjungi halaman Tipe Instans yang Tersedia di Setiap Wilayah. Sebagai alternatif, Anda dapat memanggil operasi DescribeRegions dan DescribeZones untuk menanyakan wilayah yang didukung serta zona dalam wilayah tertentu.
Perkiraan Biaya Instans. Hitung harga instans yang menggunakan metode penagihan berbeda di Kalkulator Harga. Anda juga dapat memanggil operasi DescribePrice untuk menanyakan informasi terbaru tentang harga sumber daya ECS.
Petunjuk Membeli Instans. Kunjungi halaman pembelian instans ECS untuk menempatkan pesanan pembelian instans.
Anda mungkin ingin memperhatikan informasi berikut:
Keluarga Instans yang Sudah Pensiun. Jika Anda tidak dapat menemukan tipe instans dalam topik ini, tipe tersebut mungkin termasuk dalam keluarga instans yang sudah pensiun. Untuk informasi lebih lanjut, lihat Tipe Instans yang Sudah Pensiun.
Perubahan Tipe Instans yang Didukung. Sebelum mengubah tipe instans suatu instans, periksa apakah tipe instans dapat diubah dan identifikasi tipe instans yang kompatibel. Untuk informasi lebih lanjut, lihat Perubahan Tipe Instans.
gn8v dan gn8v-tee, keluarga instans yang dioptimalkan untuk komputasi dengan akselerasi GPU
Keluarga instans gn8v dan gn8v-tee hanya tersedia di wilayah tertentu, termasuk wilayah di luar China. Untuk menggunakan keluarga instans ini, hubungi tenaga penjualan Alibaba Cloud.
Pengenalan:
gn8v: Keluarga instans generasi ke-8 ini dioptimalkan untuk komputasi dengan akselerasi GPU yang disediakan oleh Alibaba Cloud untuk pelatihan model AI dan tugas inferensi model bahasa besar (LLM). Keluarga instans ini mencakup beberapa tipe instans yang menyediakan satu, dua, empat, atau delapan GPU per instans.
gn8v-tee: Keluarga instans ini adalah versi generasi ke-8 yang dioptimalkan untuk komputasi dengan akselerasi GPU berbasis gn8v, dirancang untuk memenuhi persyaratan keamanan Anda dalam menggunakan LLM untuk tugas pelatihan dan inferensi. Keluarga instans gn8v-tee menyediakan kemampuan komputasi rahasia dan mengenkripsi data selama komputasi GPU untuk memastikan keamanan data pengguna.
Skenario yang Didukung:
Inferensi komputasi paralel multi-GPU untuk LLM dengan lebih dari 70 miliar parameter.
Pelatihan AI tradisional dan pelatihan kendaraan otonom, di mana setiap GPU memberikan kemampuan komputasi hingga 39,5 TFLOPS dalam format floating point presisi tunggal (FP32).
Skema pelatihan model kecil dan menengah yang memanfaatkan koneksi NVLink di antara delapan GPU.
Keuntungan dan Posisi:
Memori GPU Berkecepatan Tinggi dan Berkapasitas Besar: Setiap GPU dilengkapi dengan memori HBM3 sebesar 96 GB dan bandwidth memori hingga 4 TB/s, yang secara signifikan mempercepat pelatihan dan inferensi model.
Bandwidth Tinggi Antar GPU: Beberapa GPU saling terhubung menggunakan koneksi NVLink 900 GB/s. Efisiensi pelatihan dan inferensi multi-GPU jauh lebih tinggi dibandingkan generasi sebelumnya dari instans dengan akselerasi GPU.
Kuantisasi LLM: Keluarga instans ini mendukung komputasi dalam format floating point 8-bit (FP8) dan mengoptimalkan kemampuan komputasi untuk pelatihan dan inferensi parameter berskala besar. Hal ini meningkatkan kecepatan komputasi pelatihan dan inferensi serta mengurangi penggunaan memori.
(Hanya untuk gn8v-tee) Keamanan Tinggi: Keluarga instans gn8v-tee mendukung kemampuan komputasi rahasia yang mencakup seluruh link tugas inferensi model. Kemampuan ini mencakup komputasi rahasia berbasis CPU Intel Trust Domain Extensions (TDX) dan komputasi rahasia berbasis GPU NVIDIA Confidential Computing (CC). Kemampuan komputasi rahasia memastikan keamanan data inferensi pengguna dan model perusahaan dalam inferensi dan pelatihan model.
Komputasi:
Menggunakan prosesor Cloud Infrastructure Processing Unit (CIPU) 1.0 terbaru.
Memisahkan kemampuan komputasi dari kemampuan penyimpanan, memungkinkan Anda memilih sumber daya penyimpanan secara fleksibel berdasarkan kebutuhan bisnis Anda.
Menyediakan kemampuan bare metal untuk mendukung komunikasi peer-to-peer (P2P) antar instans dengan akselerasi GPU.
Menggunakan prosesor Intel Xeon Scalable generasi ke-4 yang memberikan frekuensi dasar hingga 2,8 GHz dan frekuensi turbo semua inti hingga 3,1 GHz.
Penyimpanan:
Merupakan keluarga instans di mana semua instans dioptimalkan I/O.
Mendukung protokol Non-Volatile Memory Express (NVMe). Untuk informasi lebih lanjut, lihat Protokol NVMe.
Mendukung disk ephermal elastis, ESSD, Disk ESSD AutoPL, dan ESSD Regional. Untuk informasi tentang disk, lihat Ikhtisar Penyimpanan Blok.
Jaringan:
Mendukung IPv4 dan IPv6. Untuk informasi lebih lanjut tentang komunikasi IPv6, lihat IPv6 communication.
Menyediakan dukungan untuk fitur Jumbo Frames. Untuk informasi lebih lanjut, lihat Jumbo Frames.
Menyediakan performa jaringan ultra-tinggi dengan laju penerusan paket hingga 30.000.000 pps (untuk instance yang dilengkapi dengan delapan GPU).
Mendukung antarmuka RDMA elastis (ERI).
CatatanUntuk informasi tentang cara menggunakan ERIs, lihat Enable eRDMA on an enterprise-level instance.
gn8v tipe instans
Tipe instans | vCPU | Memori (GiB) | Memori GPU | Lebar pita jaringan dasar (Gbit/s) | ENIs | Antrian NIC per ENI utama | Alamat IPv4 pribadi per ENI | Alamat IPv6 per ENI | Disk cloud maksimum | Baseline IOPS disk | Lebar pita dasar disk (GB/s) |
ecs.gn8v.4xlarge | 16 | 96 | 96GB * 1 | 12 | 8 | 16 | 30 | 30 | 17 | 100.000 | 0,75 |
ecs.gn8v.6xlarge | 24 | 128 | 96GB * 1 | 15 | 8 | 24 | 30 | 30 | 17 | 120.000 | 0,937 |
ecs.gn8v-2x.8xlarge | 32 | 192 | 96GB * 2 | 20 | 8 | 32 | 30 | 30 | 25 | 200.000 | 1,25 |
ecs.gn8v-4x.8xlarge | 32 | 384 | 96GB * 4 | 20 | 8 | 32 | 30 | 30 | 25 | 200.000 | 1,25 |
ecs.gn8v-2x.12xlarge | 48 | 256 | 96GB * 2 | 25 | 8 | 48 | 30 | 30 | 33 | 300.000 | 1,50 |
ecs.gn8v-8x.16xlarge | 64 | 768 | 96GB * 8 | 32 | 8 | 64 | 30 | 30 | 33 | 360.000 | 2,5 |
ecs.gn8v-4x.24xlarge | 96 | 512 | 96GB * 4 | 50 | 15 | 64 | 30 | 30 | 49 | 500.000 | 3 |
ecs.gn8v-8x.48xlarge | 192 | 1.024 | 96GB * 8 | 100 | 15 | 64 | 50 | 50 | 65 | 1.000.000 | 6 |
gn8v-tee tipe instans
Instance type | vCPUs | Memori (GiB) | Memori GPU | Bandwidth dasar jaringan (Gbit/s) | ENIs | NIC queues per primary ENI | Alamat IPv4 pribadi per ENI | Alamat IPv6 per ENI | Maximum cloud disks | Disk baseline IOPS | Disk baseline bandwidth (GB/s) |
ecs.gn8v-tee.4xlarge | 16 | 96 | 96 GB * 1 | 12 | 8 | 16 | 30 | 30 | 17 | 100.000 | 0,75 |
ecs.gn8v-tee.6xlarge | 24 | 128 | 96 GB * 1 | 15 | 8 | 24 | 30 | 30 | 17 | 120.000 | 0,937 |
ecs.gn8v-tee-8x.16xlarge | 64 | 768 | 96 GB * 8 | 32 | 8 | 64 | 30 | 30 | 33 | 360.000 | 2,5 |
ecs.gn8v-tee-8x.48xlarge | 192 | 1.024 | 96 GB * 8 | 100 | 15 | 64 | 50 | 50 | 65 | 1.000.000 | 6 |
gn8is, keluarga instans yang dioptimalkan untuk komputasi dengan akselerasi GPU
Keluarga instans ini hanya tersedia di wilayah tertentu, termasuk wilayah di luar China. Untuk menggunakan keluarga instans, hubungi tenaga penjualan Alibaba Cloud.
Pengenalan: Keluarga instans ini adalah keluarga instans generasi ke-8 yang dioptimalkan untuk komputasi dengan akselerasi GPU yang disediakan oleh Alibaba Cloud sebagai tanggapan atas perkembangan terbaru di bidang generasi AI. Keluarga instans ini terdiri dari beberapa tipe instans yang menyediakan satu, dua, empat, atau delapan GPU per instans dan memiliki rasio CPU-GPU berbeda untuk memenuhi berbagai kasus penggunaan.
Introduction: Keluarga instans ini merupakan bagian dari ECS Bare Metal yang dioptimalkan untuk komputasi, dengan akselerasi GPU generasi ke-8 yang disediakan oleh Alibaba Cloud sebagai respons terhadap perkembangan terkini di bidang AI. Setiap instans dalam keluarga ini dilengkapi dengan delapan GPU.
Pemrosesan Grafis: Keluarga instans ini menggunakan prosesor Intel Xeon Scalable generasi ke-5 berfrekuensi tinggi untuk memberikan kapasitas CPU yang cukup untuk rendering grafis yang lancar dan desain dalam skenario pemodelan 3D.
Tugas Inferensi: Keluarga instans ini menggunakan GPU inovatif, masing-masing dengan memori 48 GB, yang mempercepat tugas inferensi dan mendukung format floating point FP8. Anda dapat menggunakan keluarga instans ini bersama dengan Container Service for Kubernetes (ACK) untuk mendukung inferensi berbagai model konten yang dihasilkan AI (AIGC) dan khususnya mengakomodasi tugas inferensi untuk LLM dengan kurang dari 70 miliar parameter.
Skenario yang Didukung:
Animasi, efek khusus untuk film dan televisi, serta rendering.
Skenario penggunaan layanan manajemen yang disediakan oleh Container Service for Kubernetes (ACK) untuk mendukung aplikasi berbasis kontainer, termasuk konten grafis yang dihasilkan oleh AI dan tugas inferensi LLM dengan hingga 130 miliar parameter.
Skema pengenalan AI umum lainnya, pengenalan gambar, dan pengenalan suara.
Komputasi:
Menggunakan GPU NVIDIA yang memiliki fitur berikut:
Dukungan untuk fitur akselerasi seperti TensorRT, dan format floating point FP8 untuk meningkatkan performa inferensi LLM.
Hingga 48 GB memori per GPU dan dukungan untuk inferensi LLM 70B atau lebih besar pada satu instans dengan multi-GPU.
Peningkatan kemampuan pemrosesan grafis. Misalnya, setelah Anda menginstal driver GRID pada instans gn8is menggunakan Cloud Assistant atau gambar Marketplace Alibaba Cloud, instans tersebut dapat memberikan performa pemrosesan grafis dua kali lipat dari instans generasi ke-7.
Menggunakan prosesor Intel® Xeon® Scalable (SPR) 3,4 GHz dengan frekuensi turbo semua inti hingga 3,9 GHz.
Penyimpanan:
Merupakan keluarga instans di mana semua instans dioptimalkan I/O.
Mendukung protokol Non-Volatile Memory Express (NVMe). Untuk informasi lebih lanjut, lihat Protokol NVMe.
Mendukung disk ephermal elastis, ESSD, Disk ESSD AutoPL, dan ESSD Regional. Untuk informasi tentang disk, lihat Ikhtisar Penyimpanan Blok.
Jaringan:
Mendukung IPv4 dan IPv6. Untuk informasi tentang komunikasi IPv6, lihat IPv6 communication.
Mendukung antarmuka RDMA elastis (ERI).
CatatanUntuk informasi tentang cara menggunakan ERIs, lihat Enable eRDMA on an enterprise-level instance.
gn8is tipe instans
Tipe instans | vCPUs | Memori (GiB) | Memori GPU | Lebar pita jaringan dasar (Gbit/s) | ENIs | Alamat IPv4 Pribadi per ENI | Alamat IPv4 pribadi per ENI | Alamat IPv6 per ENI | Maximum attached data disks | Baseline IOPS disk | Lebar pita dasar disk (GB/s) |
ecs.gn8is.2xlarge | 8 | 1.024 | 48GB*8 | 8 | 30.000.000 | 30 | 15 | 15 | 31 | 60.000 | 6 |
ecs.gn8is.4xlarge | 16 | 128 | 48GB * 1 | 16 | 8 | 16 | 30 | 30 | 17 | 120.000 | 1,25 |
ecs.gn8is-2x.8xlarge | 32 | 256 | 48GB * 2 | 32 | 8 | 32 | 30 | 30 | 33 | 250.000 | 2 |
ecs.gn8is-4x.16xlarge | 64 | 512 | 48GB * 4 | 64 | 8 | 64 | 30 | 30 | 33 | 450.000 | 4 |
ecs.gn8is-8x.32xlarge | 128 | 1.024 | 48GB * 8 | 100 | 15 | 64 | 50 | 50 | 65 | 900.000 | 8 |
gn7e, keluarga instans yang dioptimalkan untuk komputasi dengan akselerasi GPU
Fitur:
Pengenalan:
Keluarga instans ini memungkinkan Anda memilih jenis instans yang menyediakan jumlah GPU dan CPU berbeda untuk memenuhi kebutuhan bisnis Anda dalam kasus penggunaan AI.
Keluarga instans ini menggunakan arsitektur SHENLONG generasi ketiga dan meningkatkan bandwidth rata-rata untuk virtual private cloud (VPC), jaringan, serta disk hingga dua kali lipat dibandingkan keluarga instans generasi sebelumnya.
Skenario yang Didukung:
Pelatihan AI skala kecil hingga menengah.
Bisnis komputasi berperforma tinggi (HPC) yang dipercepat menggunakan Compute Unified Device Architecture (CUDA).
Tugas inferensi AI yang memerlukan kemampuan pemrosesan GPU tinggi atau memori GPU dalam jumlah besar.
Aplikasi pembelajaran mendalam, seperti aplikasi pelatihan algoritma AI yang digunakan dalam klasifikasi gambar, kendaraan otonom, dan pengenalan suara.
Aplikasi komputasi ilmiah yang memerlukan kemampuan komputasi GPU yang kuat, seperti dinamika fluida komputasi, keuangan komputasi, dinamika molekul, dan analitik lingkungan.
PentingSaat menggunakan layanan pelatihan AI yang memiliki beban komunikasi tinggi, seperti model transformer, Anda harus mengaktifkan NVLink untuk komunikasi antar-GPU. Jika tidak, data dapat rusak karena kegagalan tak terduga yang disebabkan oleh transmisi data berskala besar melalui link Peripheral Component Interconnect Express (PCIe). Jika Anda tidak memahami topologi link komunikasi yang digunakan untuk layanan pelatihan AI, submit a ticket untuk mendapatkan dukungan teknis.
Penyimpanan:
Merupakan keluarga instans di mana semua instans dioptimalkan I/O.
Mendukung ESSD, Disk ESSD AutoPL, dan ESSD Regional. Untuk informasi tentang disk, lihat Ikhtisar Penyimpanan Blok.
Jaringan:
Mendukung IPv4 dan IPv6. Untuk informasi tentang komunikasi IPv6, lihat IPv6 communication.
Memberikan performa jaringan tinggi berdasarkan kapasitas komputasi besar.
gn7e tipe instans
Tipe instans | vCPUs | Memori (GiB) | Memori GPU | Bandwidth dasar jaringan (Gbit/s) | Laju pengalihan paket (pps) | NIC queues | ENIs | Alamat IPv4 pribadi per ENI | Alamat IPv6 per ENI |
ecs.gn7e-c16g1.4xlarge | 16 | 125 | 80GB * 1 | 8 | 3.000.000 | 8 | 8 | 10 | 1 |
ecs.gn7e-c16g1.8xlarge | 32 | 250 | 80GB * 2 | 16 | 6.000.000 | 16 | 8 | 10 | 1 |
ecs.gn7e-c16g1.16xlarge | 64 | 500 | 80GB * 4 | 32 | 12.000.000 | 32 | 8 | 10 | 1 |
ecs.gn7e-c16g1.32xlarge | 128 | 1.000 | 80GB * 8 | 64 | 24.000.000 | 32 | 16 | 15 | 1 |
gn7i, Komputasi dioptimalkan dengan akselerasi GPU keluarga instans
Pengenalan: Keluarga instans ini menggunakan arsitektur SHENLONG generasi ketiga untuk memberikan performa ultra-tinggi yang konsisten dan dapat diprediksi. Dengan memanfaatkan akselerasi jalur cepat pada chip, keluarga instans ini meningkatkan performa penyimpanan, performa jaringan, serta stabilitas komputasi ke tingkat yang lebih tinggi.
Skenario yang Didukung:
Tugas inferensi AI bersamaan yang memerlukan CPU, memori, dan GPU berperforma tinggi, seperti pengenalan gambar, pengenalan suara, dan identifikasi perilaku.
Tugas pemrosesan grafis intensif komputasi yang membutuhkan kemampuan virtualisasi grafis 3D berperforma tinggi, seperti desain grafis jarak jauh dan cloud gaming.
Komputasi:
Menggunakan GPU NVIDIA A10 dengan fitur-fitur berikut:
Arstitektur NVIDIA Ampere yang inovatif.
Dukungan untuk fitur akselerasi, seperti RTX dan TensorRT.
Menggunakan Prosesor Intel® Xeon® Scalable (Ice Lake) 2,9 GHz dengan frekuensi turbo semua inti hingga 3,5 GHz.
Menyediakan hingga 752 GiB memori, jauh lebih besar dibandingkan ukuran memori keluarga instans gn6i.
Penyimpanan:
Keluarga instans ini dioptimalkan sepenuhnya untuk I/O.
Mendukung ESSD, Disk ESSD AutoPL, dan ESSD Regional. Untuk informasi lebih lanjut tentang disk, lihat Ikhtisar Penyimpanan Blok.
Jaringan:
Mendukung IPv4 dan IPv6. Untuk informasi lebih lanjut tentang komunikasi IPv6, lihat Komunikasi IPv6.
Memberikan performa jaringan tinggi berdasarkan kapasitas komputasi besar.
gn7i tipe instans
Tipe Instans | vCPUs | Memori (GiB) | GPU | Memori GPU | Bandwidth dasar jaringan (Gbit/s) | Laju penerusan paket (pps) | Antrian NIC | ENIs | Alamat IPv4 privat per ENI | Alamat IPv6 per ENI |
ecs.gn7i-c8g1.2xlarge | 8 | 30 | NVIDIA A10 * 1 | 24GB * 1 | 16 | 1.600.000 | 8 | 4 | 15 | 15 |
ecs.gn7i-c16g1.4xlarge | 16 | 60 | NVIDIA A10 * 1 | 24GB * 1 | 16 | 3.000.000 | 8 | 8 | 30 | 30 |
ecs.gn7i-c32g1.8xlarge | 32 | 188 | NVIDIA A10 * 1 | 24GB * 1 | 16 | 6.000.000 | 12 | 8 | 30 | 30 |
ecs.gn7i-c32g1.16xlarge | 64 | 376 | NVIDIA A10 * 2 | 24GB * 2 | 32 | 12.000.000 | 16 | 15 | 30 | 30 |
ecs.gn7i-c32g1.32xlarge | 128 | 752 | NVIDIA A10 * 4 | 24GB * 4 | 64 | 24.000.000 | 32 | 15 | 30 | 30 |
ecs.gn7i-c48g1.12xlarge | 48 | 310 | NVIDIA A10 * 1 | 24GB * 1 | 16 | 9.000.000 | 16 | 8 | 30 | 30 |
ecs.gn7i-c56g1.14xlarge | 56 | 346 | NVIDIA A10 * 1 | 24GB * 1 | 16 | 10.000.000 | 16 | 8 | 30 | 30 |
ecs.gn7i-2x.8xlarge | 32 | 128 | NVIDIA A10 * 2 | 24GB * 2 | 16 | 6.000.000 | 16 | 8 | 30 | 30 |
ecs.gn7i-4x.8xlarge | 32 | 128 | NVIDIA A10 * 4 | 24GB * 4 | 32 | 6.000.000 | 16 | 8 | 30 | 30 |
ecs.gn7i-4x.16xlarge | 64 | 256 | NVIDIA A10 * 4 | 24GB * 4 | 64 | 12.000.000 | 32 | 8 | 30 | 30 |
ecs.gn7i-8x.32xlarge | 128 | 512 | NVIDIA A10 * 8 | 24GB * 8 | 64 | 24.000.000 | 32 | 16 | 30 | 30 |
ecs.gn7i-8x.16xlarge | 64 | 256 | NVIDIA A10 * 8 | 24GB * 8 | 32 | 12.000.000 | 32 | 8 | 30 | 30 |
Anda hanya dapat mengubah tipe instans berikut ke ecs.gn7i-c8g1.2xlarge atau ecs.gn7i-c16g1.4xlarge: ecs.gn7i-2x.8xlarge, ecs.gn7i-4x.8xlarge, ecs.gn7i-4x.16xlarge, ecs.gn7i-8x.32xlarge, dan ecs.gn7i-8x.16xlarge.
gn7s, Keluarga instans komputasi dioptimalkan dengan akselerasi GPU
Untuk menggunakan keluarga instans gn7s, ajukan Tiket.
Pengenalan:
Keluarga instans ini menggunakan Prosesor Intel Ice Lake terbaru dan GPU NVIDIA A30 berbasis arsitektur NVIDIA Ampere. Anda dapat memilih tipe instans yang mencakup kombinasi GPU dan vCPU sesuai untuk memenuhi kebutuhan bisnis dalam skenario AI.
Keluarga instans ini menggunakan arsitektur SHENLONG generasi ketiga dan melipatgandakan bandwidth rata-rata VPC, jaringan, serta disk dibandingkan dengan keluarga instans generasi sebelumnya.
Skenario yang Didukung: Tugas inferensi AI bersamaan yang memerlukan CPU, memori, dan GPU berperforma tinggi, seperti pengenalan gambar, pengenalan suara, dan identifikasi perilaku.
Komputasi:
Menggunakan GPU NVIDIA A30 dengan fitur-fitur berikut:
Arsitektur NVIDIA Ampere yang inovatif.
Dukungan untuk fitur multi-instans GPU (MIG) dan fitur akselerasi (berdasarkan Tensor Core generasi kedua) untuk menyediakan dukungan bisnis yang beragam.
Menggunakan Prosesor 2,9 GHz Intel® Xeon® Scalable (Ice Lake) yang memberikan frekuensi turbo semua inti hingga 3,5 GHz.
Meningkatkan ukuran memori secara signifikan dibandingkan dengan keluarga instans generasi sebelumnya.
Penyimpanan:
Merupakan keluarga instans di mana semua instans dioptimalkan I/O.
Mendukung ESSD, Disk ESSD AutoPL, dan ESSD Regional. Untuk informasi lebih lanjut tentang disk, lihat Ikhtisar Penyimpanan Blok.
Jaringan:
Mendukung IPv4 dan IPv6. Untuk informasi tentang komunikasi IPv6, lihat Komunikasi IPv6.
Menyediakan performa jaringan tinggi berdasarkan kapasitas komputasi besar.
gn7s tipe instans
Tipe instans | vCPUs | Memori (GiB) | GPU | Memori GPU | Bandwidth dasar jaringan (Gbit/s) | Laju penerusan paket (pps) | Alamat IPv4 pribadi per ENI | Alamat IPv6 per ENI | Antrian NIC | ENIs |
ecs.gn7s-c8g1.2xlarge | 8 | 60 | NVIDIA A30 * 1 | 24GB * 1 | 16 | 1.600.000 | 5 | 1 | 8 | 4 |
ecs.gn7s-c16g1.4xlarge | 16 | 120 | NVIDIA A30 * 1 | 24GB * 1 | 16 | 3.000.000 | 5 | 1 | 8 | 8 |
ecs.gn7s-c32g1.8xlarge | 32 | 250 | NVIDIA A30 * 1 | 24GB * 1 | 16 | 6.000.000 | 5 | 1 | 12 | 8 |
ecs.gn7s-c32g1.16xlarge | 64 | 500 | NVIDIA A30 * 2 | 24GB * 2 | 32 | 12.000.000 | 5 | 1 | 16 | 15 |
ecs.gn7s-c32g1.32xlarge | 128 | 1.000 | NVIDIA A30 * 4 | 24GB * 4 | 64 | 24.000.000 | 10 | 1 | 32 | 15 |
ecs.gn7s-c48g1.12xlarge | 48 | 380 | NVIDIA A30 * 1 | 24GB * 1 | 16 | 9.000.000 | 8 | 1 | 16 | 8 |
ecs.gn7s-c56g1.14xlarge | 56 | 440 | NVIDIA A30 * 1 | 24GB * 1 | 16 | 10.000.000 | 8 | 1 | 16 | 8 |
gn7, Keluarga instans yang dioptimalkan untuk komputasi dengan akselerasi GPU
Skenario yang Didukung:
Aplikasi pembelajaran mendalam, seperti aplikasi pelatihan algoritma AI yang digunakan dalam klasifikasi gambar, kendaraan otonom, dan pengenalan suara.
Aplikasi komputasi ilmiah yang memerlukan kemampuan komputasi GPU yang kuat, seperti dinamika fluida komputasi, keuangan komputasi, dinamika molekuler, dan analitik lingkungan.
-
Penyimpanan:
Merupakan keluarga instans yang dioptimalkan untuk I/O.
-
Mendukung ESSD, Disk ESSD AutoPL, dan ESSD Regional. Untuk informasi lebih lanjut tentang disk, lihat Ikhtisar Penyimpanan Blok.
-
Jaringan:
-
Mendukung IPv4 dan IPv6. Untuk informasi tentang komunikasi IPv6, lihat Komunikasi IPv6.
Menyediakan performa jaringan tinggi berdasarkan kapasitas komputasi besar.
-
gn7 tipe instans
Tipe instans | vCPUs | Memori (GiB) | Memori GPU | Bandwidth dasar jaringan (Gbit/s) | Laju penerusan paket (pps) | Antrian NIC | ENIs | Alamat IPv4 pribadi per ENI | Alamat IPv6 per ENI |
ecs.gn7-c12g1.3xlarge | 12 | 94 | 40GB * 1 | 4 | 2.500.000 | 4 | 8 | 10 | 1 |
ecs.gn7-c13g1.13xlarge | 52 | 378 | 40GB * 4 | 16 | 9.000.000 | 16 | 8 | 30 | 30 |
ecs.gn7-c13g1.26xlarge | 104 | 756 | 40GB * 8 | 30 | 18.000.000 | 16 | 15 | 10 | 1 |
gn6i, keluarga instans yang dioptimalkan untuk komputasi dengan akselerasi GPU
Skenario yang Didukung:
Inferensi AI (pembelajaran mendalam dan pembelajaran mesin) untuk visi komputer, pengenalan suara, sintesis suara, pemrosesan bahasa alami (NLP), penerjemahan mesin, dan sistem rekomendasi.
Rendering real-time untuk cloud gaming.
Rendering real-time untuk aplikasi AR dan VR.
Workstation grafis atau komputasi grafis intensif.
Database yang dipercepat GPU.
Komputasi berperforma tinggi.
Komputasi:
Menggunakan GPU NVIDIA T4 yang memiliki fitur berikut:
Arstitektur NVIDIA Turing inovatif.
16 GB memori (bandwidth 320 GB/s) per GPU.
2.560 core CUDA per GPU.
Hingga 320 core Tensor Turing per GPU.
Core Tensor presisi campuran yang mendukung 65 TFLOPS FP16, 130 TOPS INT8, dan 260 TOPS INT4.
Menawarkan rasio CPU-memori sebesar 1:4.
Menggunakan prosesor Intel® Xeon® Platinum 8163 (Skylake) 2,5 GHz.
Penyimpanan:
Merupakan keluarga instans di mana semua instans dioptimalkan I/O.
Mendukung ESSD, Disk ESSD AutoPL, SSD standar, dan disk ultra. Untuk informasi tentang disk, lihat Ikhtisar Penyimpanan Blok.
Jaringan:
Mendukung IPv4 dan IPv6. Untuk informasi tentang komunikasi IPv6, lihat Komunikasi IPv6.
Memberikan performa jaringan tinggi berdasarkan kapasitas komputasi besar.
gn6i tipe instans
Tipe instans | vCPUs | Memori (GiB) | GPU | Memori GPU | Lebar pita jaringan dasar (Gbit/s) | Laju paket forwarding (pps) | Baseline IOPS disk | Antrian NIC | ENIs | Alamat IPv4 pribadi per ENI | Alamat IPv6 per ENI |
ecs.gn6i-c4g1.xlarge | 4 | 15 | NVIDIA T4 * 1 | 16GB * 1 | 4 | 2.500.000 | Tidak ada | 2 | 2 | 10 | 1 |
ecs.gn6i-c8g1.2xlarge | 8 | 31 | NVIDIA T4 * 1 | 16GB * 1 | 5 | 2.500.000 | Tidak ada | 2 | 2 | 10 | 1 |
ecs.gn6i-c16g1.4xlarge | 16 | 62 | NVIDIA T4 * 1 | 16GB * 1 | 6 | 2.500.000 | Tidak ada | 4 | 3 | 10 | 1 |
ecs.gn6i-c24g1.6xlarge | 24 | 93 | NVIDIA T4 * 1 | 16GB * 1 | 7,5 | 2.500.000 | Tidak ada | 6 | 4 | 10 | 1 |
ecs.gn6i-c40g1.10xlarge | 40 | 155 | NVIDIA T4 * 1 | 16GB * 1 | 10 | 1.600.000 | Tidak ada | 16 | 10 | 10 | 1 |
ecs.gn6i-c24g1.12xlarge | 48 | 186 | NVIDIA T4 * 2 | 16GB * 2 | 15 | 4.500.000 | Tidak ada | 12 | 6 | 10 | 1 |
ecs.gn6i-c24g1.24xlarge | 96 | 372 | NVIDIA T4 * 4 | 16GB * 4 | 30 | 4.500.000 | 250.000 | 24 | 8 | 10 | 1 |
gn6e, keluarga instans yang dioptimalkan untuk komputasi dengan akselerasi GPU
Skenario yang Didukung:
Aplikasi pembelajaran mendalam, seperti aplikasi pelatihan dan inferensi algoritma AI yang digunakan dalam klasifikasi gambar, kendaraan otonom, dan pengenalan suara.
Aplikasi komputasi ilmiah, seperti dinamika fluida komputasi, keuangan komputasi, dinamika molekul, dan analitik lingkungan.
Komputasi:
Menggunakan GPU NVIDIA V100 yang masing-masing memiliki memori GPU 32 GB dan mendukung NVLink.
Menggunakan GPU NVIDIA V100 (berbasis SXM2) yang memiliki fitur berikut:
Arstitektur NVIDIA Volta inovatif.
32 GB memori HBM2 (bandwidth 900 GB/s) per GPU.
5.120 core CUDA per GPU.
640 core Tensor per GPU.
Hingga enam koneksi NVLink dua arah per GPU, masing-masing memberikan bandwidth 25 Gbit/s dalam setiap arah untuk total bandwidth 300 Gbit/s (6 × 25 × 2 = 300).
Menawarkan rasio CPU-memori sebesar 1:8.
Menggunakan prosesor Intel® Xeon® Platinum 8163 (Skylake) 2,5 GHz.
Penyimpanan:
Merupakan keluarga instans di mana semua instans dioptimalkan I/O.
Mendukung ESSD, Disk ESSD AutoPL, ESSD Regional, SSD standar, dan disk ultra. Untuk informasi tentang disk, lihat Ikhtisar Penyimpanan Blok.
Jaringan:
Mendukung IPv4 dan IPv6. Untuk informasi tentang komunikasi IPv6, lihat Komunikasi IPv6.
Memberikan performa jaringan tinggi berdasarkan kapasitas komputasi besar.
gn6e tipe instans
Tipe instans | vCPUs | Memori (GiB) | GPU | Memori GPU | Lebar pita jaringan dasar (Gbit/s) | Laju paket forwarding (pps) | Antrian NIC | ENIs | Alamat IPv4 pribadi per ENI | Alamat IPv6 per ENI |
ecs.gn6e-c12g1.3xlarge | 12 | 92 | NVIDIA V100 * 1 | 32GB * 1 | 5 | 800.000 | 8 | 6 | 10 | 1 |
ecs.gn6e-c12g1.6xlarge | 24 | 184 | NVIDIA V100 * 2 | 32GB * 2 | 8 | 1.200.000 | 8 | 8 | 20 | 1 |
ecs.gn6e-c12g1.12xlarge | 48 | 368 | NVIDIA V100 * 4 | 32GB * 4 | 16 | 2.400.000 | 8 | 8 | 20 | 1 |
ecs.gn6e-c12g1.24xlarge | 96 | 736 | NVIDIA V100 * 8 | 32GB * 8 | 32 | 4.500.000 | 16 | 8 | 20 | 1 |
gn6v, keluarga instans yang dioptimalkan untuk komputasi dengan akselerasi GPU
Skenario yang Didukung:
Aplikasi pembelajaran mendalam, seperti aplikasi pelatihan dan inferensi algoritma AI yang digunakan dalam klasifikasi gambar, kendaraan otonom, dan pengenalan suara.
Aplikasi komputasi ilmiah, seperti dinamika fluida komputasi, keuangan komputasi, dinamika molekul, dan analitik lingkungan.
Komputasi:
Menggunakan GPU NVIDIA V100.
Menggunakan GPU NVIDIA V100 (berbasis SXM2) yang memiliki fitur berikut:
Arstitektur NVIDIA Volta inovatif.
16 GB memori HBM2 (bandwidth 900 GB/s) per GPU.
5.120 core CUDA per GPU.
640 core Tensor per GPU.
Hingga enam koneksi NVLink dua arah per GPU, masing-masing memberikan bandwidth 25 Gbit/s dalam setiap arah untuk total bandwidth 300 Gbit/s (6 × 25 × 2 = 300).
Menawarkan rasio CPU-memori sebesar 1:4.
Menggunakan prosesor Intel® Xeon® Platinum 8163 (Skylake) 2,5 GHz.
Penyimpanan:
Merupakan keluarga instans di mana semua instans dioptimalkan I/O.
Mendukung disk ephermal elastis, ESSD, Disk ESSD AutoPL, SSD standar, dan disk ultra. Untuk informasi tentang disk, lihat Ikhtisar Penyimpanan Blok.
Jaringan:
Mendukung IPv4 dan IPv6. Untuk informasi tentang komunikasi IPv6, lihat Komunikasi IPv6.
Memberikan performa jaringan tinggi berdasarkan kapasitas komputasi besar.
gn6v tipe instans
Tipe instans | vCPUs | Memori (GiB) | GPU | Memori GPU | Lebar pita jaringan dasar (Gbit/s) | Laju paket forwarding (pps) | Baseline IOPS disk | Antrian NIC | ENIs | Alamat IPv4 pribadi per ENI | Alamat IPv6 per ENI |
ecs.gn6v-c8g1.2xlarge | 8 | 32 | NVIDIA V100 * 1 | 16GB * 1 | 2,5 | 800.000 | Tidak ada | 4 | 4 | 10 | 1 |
ecs.gn6v-c8g1.4xlarge | 16 | 64 | NVIDIA V100 * 2 | 16GB * 2 | 5 | 1.000.000 | Tidak ada | 4 | 8 | 20 | 1 |
ecs.gn6v-c8g1.8xlarge | 32 | 128 | NVIDIA V100 * 4 | 16GB * 4 | 10 | 2.000.000 | Tidak ada | 8 | 8 | 20 | 1 |
ecs.gn6v-c8g1.16xlarge | 64 | 256 | NVIDIA V100 * 8 | 16GB * 8 | 20 | 2.500.000 | Tidak ada | 16 | 8 | 20 | 1 |
ecs.gn6v-c10g1.20xlarge | 82 | 336 | NVIDIA V100 * 8 | 16GB * 8 | 35 | 4.500.000 | 250.000 | 16 | 8 | 20 | 1 |
ebmgn8v, keluarga instans ECS Bare Metal yang dioptimalkan untuk komputasi dengan akselerasi GPU
Keluarga instans ini hanya tersedia di wilayah tertentu, termasuk wilayah di luar China. Untuk menggunakan keluarga instans, hubungi tenaga penjualan Alibaba Cloud.
Pengenalan: Keluarga instans ini adalah keluarga instans ECS Bare Metal generasi ke-8 yang dioptimalkan untuk komputasi dengan akselerasi GPU yang disediakan oleh Alibaba Cloud untuk pelatihan model AI dan model ultra besar. Setiap instans dari keluarga instans ini dilengkapi dengan delapan GPU.
Skenario yang Didukung:
Komputasi inferensi paralel multi-GPU untuk model bahasa besar (LLM) yang memiliki lebih dari 70 miliar parameter.
Pelatihan model AI tradisional dan pelatihan kendaraan otonom, di mana setiap GPU memberikan kemampuan komputasi hingga 39,5 TFLOPS dalam format floating point presisi tunggal (FP32).
Skema pelatihan model kecil dan menengah yang memanfaatkan koneksi NVLink di antara delapan GPU.
Keuntungan dan Posisi:
Memori GPU Berkecepatan Tinggi dan Berkapasitas Besar: Setiap GPU dilengkapi dengan memori HBM3 sebesar 96 GB dan memberikan bandwidth memori hingga 4 TB/s, yang sangat mempercepat pelatihan dan inferensi model.
Bandwidth Tinggi Antar GPU: Beberapa GPU saling terhubung menggunakan koneksi NVLink 900 GB/s. Efisiensi pelatihan dan inferensi multi-GPU jauh lebih tinggi dibandingkan generasi sebelumnya dari instans dengan akselerasi GPU.
Kuantisasi Model Besar: Keluarga instans ini mendukung komputasi dalam format floating point 8-bit (FP8) dan mengoptimalkan kemampuan komputasi untuk pelatihan dan inferensi parameter berskala besar. Hal ini secara signifikan meningkatkan kecepatan komputasi pelatihan dan inferensi serta mengurangi penggunaan memori.
Komputasi:
Menggunakan prosesor CIPU 1.0 terbaru.
Memisahkan kemampuan komputasi dari kemampuan penyimpanan, memungkinkan Anda memilih sumber daya penyimpanan secara fleksibel berdasarkan kebutuhan bisnis Anda, dan meningkatkan bandwidth antar instans menjadi 160 Gbit/s untuk transmisi dan pemrosesan data yang lebih cepat dibandingkan keluarga instans generasi ke-7.
Menggunakan kemampuan bare metal yang disediakan oleh prosesor CIPU untuk mendukung komunikasi peer-to-peer (P2P) antar instans dengan akselerasi GPU.
Menggunakan prosesor Intel® Xeon® Scalable generasi ke-4 yang memberikan frekuensi turbo semua inti hingga 3,1 GHz dan menyediakan 192 vCPU.
Penyimpanan:
Merupakan keluarga instans di mana semua instans dioptimalkan I/O.
Mendukung protokol Non-Volatile Memory Express (NVMe). Untuk informasi lebih lanjut, lihat Protokol NVMe.
Mendukung disk ephermal elastis, ESSD, Disk ESSD AutoPL, dan ESSD Regional. Untuk informasi tentang disk, lihat Ikhtisar Penyimpanan Blok.
Jaringan:
Mendukung IPv4 dan IPv6. Untuk informasi tentang komunikasi IPv6, lihat Komunikasi IPv6.
Memberikan performa jaringan ultra-tinggi dengan laju paket forwarding sebesar 30.000.000 pps.
Mendukung antarmuka RDMA elastis (ERI) untuk memungkinkan komunikasi berbasis Remote Direct Memory Access (RDMA) antar instans dalam VPC dan menyediakan bandwidth hingga 160 Gbit/s per instans, yang cocok untuk tugas pelatihan berbasis model CV dan model tradisional.
CatatanUntuk informasi tentang cara menggunakan ERI, lihat Konfigurasikan eRDMA pada Instans Level Perusahaan.
ebmgn8v tipe instans
Tipe instans | vCPUs | Memori (GiB) | Memori GPU | Lebar pita jaringan dasar (Gbit/s) | Laju paket forwarding (pps) | Alamat IPv4 pribadi per ENI | Alamat IPv6 per ENI | Antrian NIC (ENI Utama/ENI Sekunder) | ENIs | Disk data maksimum yang dapat ditautkan | Lebar pita maksimum disk (GB/s) |
ecs.ebmgn8v.48xlarge | 192 | 1.024 | 96GB*8 | 160 (80 × 2) | 30.000.000 | 30 | 30 | 64 | 32 | 31 | 6 |
Mode boot gambar yang digunakan oleh instans dari keluarga instans ini harus UEFI. Jika Anda ingin menggunakan gambar kustom pada instans, pastikan gambar tersebut mendukung mode boot UEFI dan mode boot gambar telah diatur ke UEFI. Untuk informasi tentang cara mengatur mode boot gambar kustom, lihat Atur mode boot gambar kustom ke mode UEFI melalui operasi API.
ebmgn8is, keluarga instans ECS Bare Metal yang dioptimalkan untuk komputasi dengan akselerasi GPU
Keluarga instans ini hanya tersedia di wilayah tertentu, termasuk wilayah di luar China. Untuk menggunakan keluarga instans, hubungi tenaga penjualan Alibaba Cloud.
Pengenalan: Keluarga instans ini adalah keluarga instans ECS Bare Metal generasi ke-8 yang dioptimalkan untuk komputasi dengan akselerasi GPU yang disediakan oleh Alibaba Cloud sebagai tanggapan atas perkembangan terbaru di bidang generasi AI. Setiap instans dari keluarga instans ini dilengkapi dengan delapan GPU.
Skenario yang Didukung:
Produksi dan rendering efek khusus untuk animasi, film, dan televisi berdasarkan kemampuan pemrosesan grafis tingkat workstation dalam skenario di mana gambar GRID dari Marketplace Cloud digunakan, driver GRID diinstal, dan kemampuan grafis OpenGL dan Direct3D diaktifkan.
Skenario di mana layanan manajemen yang disediakan oleh Container Service for Kubernetes (ACK) untuk aplikasi berbasis kontainer digunakan untuk mendukung pembuatan konten grafis AI dan tugas inferensi LLM dengan hingga 130 miliar parameter.
Skema pengenalan AI umum lainnya, pengenalan gambar, dan pengenalan suara.
Keuntungan dan Posisi:
Pemrosesan Grafis: Keluarga instans ini menggunakan prosesor Intel Xeon Scalable generasi ke-5 berfrekuensi tinggi untuk memberikan daya komputasi CPU yang cukup dalam skenario pemodelan 3D dan mencapai rendering grafis yang lancar dan desain.
Tugas Inferensi: Keluarga instans ini menggunakan GPU inovatif, masing-masing dengan memori 48 GB, yang mempercepat tugas inferensi dan mendukung format floating point FP8. Anda dapat menggunakan keluarga instans ini bersama dengan ACK untuk mendukung inferensi berbagai model konten yang dihasilkan AI (AIGC) dan mengakomodasi tugas inferensi untuk LLM yang memiliki kurang dari 70 miliar parameter.
Tugas Pelatihan: Keluarga instans ini menyediakan kemampuan komputasi yang hemat biaya dan memberikan performa komputasi FP32 dua kali lipat dari instans inferensi generasi ke-7. Instans dari keluarga instans ini cocok untuk pelatihan model CV berbasis FP32 dan model kecil hingga menengah lainnya.
Menggunakan prosesor CIPU 1.0 terbaru yang memberikan manfaat berikut:
Memisahkan kemampuan komputasi dari kemampuan penyimpanan, memungkinkan Anda memilih sumber daya penyimpanan secara fleksibel berdasarkan kebutuhan bisnis Anda, dan meningkatkan bandwidth antar instans menjadi 160 Gbit/s untuk transmisi dan pemrosesan data yang lebih cepat dibandingkan keluarga instans generasi sebelumnya.
Menggunakan kemampuan bare metal yang disediakan oleh prosesor CIPU untuk mendukung komunikasi Peer-to-Peer (P2P) berbasis Peripheral Component Interconnect Express (PCIe) antar instans dengan akselerasi GPU.
Komputasi:
Menggunakan GPU inovatif yang memiliki fitur berikut:
Dukungan untuk fitur akselerasi seperti vGPU, teknologi RTX, dan mesin inferensi TensorRT.
Dukungan untuk interkoneksi PCIe Switch, yang mencapai peningkatan performa NVIDIA Collective Communications Library (NCCL) sebesar 36% dibandingkan skema koneksi langsung CPU dan membantu meningkatkan performa inferensi hingga 9% saat menjalankan tugas inferensi LLM secara paralel pada beberapa GPU.
Dukungan untuk delapan GPU per instans dengan memori 48 GB per GPU untuk mendukung tugas inferensi LLM dengan 70 miliar atau lebih parameter pada satu instans.
Menggunakan prosesor Intel® Xeon® Scalable (SPR) 3,4 GHzyang memberikan frekuensi turbo semua inti hingga 3,9 GHz.
Penyimpanan:
Merupakan keluarga instans yang dioptimalkan untuk I/O.
Mendukung protokol Non-Volatile Memory Express (NVMe). Untuk informasi lebih lanjut, lihat Protokol NVMe.
Mendukung disk ephermal elastis, ESSD, Disk ESSD AutoPL, dan ESSD Regional. Untuk informasi tentang disk, lihat Ikhtisar Penyimpanan Blok.
Jaringan:
Mendukung IPv4 dan IPv6. Untuk informasi tentang komunikasi IPv6, lihat Komunikasi IPv6.
Memberikan performa jaringan ultra-tinggi dengan laju pengiriman paket sebesar 30.000.000 pps.
Mendukung antarmuka RDMA elastis (ERI) untuk memungkinkan komunikasi berbasis Remote Direct Memory Access (RDMA) antar instans dalam VPC dan menyediakan bandwidth hingga 160 Gbit/s per instans, yang cocok untuk tugas pelatihan berbasis model CV dan model tradisional.
CatatanUntuk informasi tentang cara menggunakan ERI, lihat Konfigurasikan eRDMA pada instans level perusahaan.
ebmgn8is tipe instans
Instance type | vCPUs | Memori (GiB) | Memori GPU | Bandwidth dasar jaringan (Gbit/s) | Rate pengalihan paket (pps) | Alamat IPv4 pribadi per ENI | Alamat IPv6 per ENI | NIC queues (Primary ENI/Secondary ENI) | ENIs | Maximum attached data disks | Bandwidth disk maksimum (GB/s) |
ecs.ebmgn8is.32xlarge | 128 | 1.024 | 48GB*8 | 160 (80 × 2) | 30.000.000 | 30 | 30 | 64/16 | 32 | 31 | 6 |
Mode boot image yang digunakan oleh instance dari keluarga instance ini harus diatur ke UEFI. Jika Anda ingin menggunakan image kustom pada instance, pastikan bahwa image tersebut mendukung mode boot UEFI dan mode boot telah diatur ke UEFI. Untuk informasi lebih lanjut tentang cara mengatur mode boot image kustom, lihat Atur mode boot image kustom ke mode UEFI dengan memanggil Operasi API.
ebmgn7e, Keluarga Instans ECS Bare Metal yang Dioptimalkan untuk Komputasi dengan Akselerasi GPU
Pengenalan: Keluarga instans ini menggunakan arsitektur SHENLONG untuk menyediakan komputasi terdefinisi perangkat lunak yang fleksibel dan kuat.
Skenario yang Didukung:
Pelatihan dan pengembangan pembelajaran mendalam.
Komputasi berperforma tinggi (HPC) dan simulasi.
PentingSaat Anda menggunakan layanan pelatihan AI yang memiliki beban komunikasi tinggi, seperti model transformer, Anda harus mengaktifkan NVLink untuk komunikasi antar-GPU. Jika tidak, data dapat rusak akibat kegagalan tak terduga yang disebabkan oleh transmisi data skala besar melalui tautan Peripheral Component Interconnect Express (PCIe). Jika Anda tidak memahami topologi tautan komunikasi yang digunakan untuk layanan pelatihan AI, kirim Tiket untuk mendapatkan dukungan teknis.
Komputasi:
Menggunakan prosesor Intel® Xeon® Scalable 2,9 GHz yang memberikan frekuensi turbo semua inti sebesar 3,5 GHz dan mendukung antarmuka PCIe 4.0.
Penyimpanan:
Merupakan keluarga instans di mana semua instans dioptimalkan untuk I/O.
Mendukung ESSD, Disk ESSD AutoPL, dan ESSD Regional. Untuk informasi tentang disk, lihat Ikhtisar Penyimpanan Blok.
Jaringan:
Mendukung IPv4 dan IPv6. Untuk informasi tentang komunikasi IPv6, lihat Komunikasi IPv6.
Menyediakan performa jaringan ultra-tinggi dengan laju pengalihan paket sebesar 24.000.000 pps.
Tipe instans ebmgn7e
Tipe instans | vCPU | Memori (GiB) | Memori GPU | Bandwidth dasar jaringan (Gbit/s) | Laju pengiriman paket (pps) | Antrian NIC (NIC Utama/NIC Sekunder) | ENIs | Alamat IPv4 privat per ENI | Alamat IPv6 per ENI |
ecs.ebmgn7e.32xlarge | 128 | 1.024 | 80GB * 8 | 64 | 24.000.000 | 32/12 | 32 | 10 | 1 |
Anda perlu memeriksa status fitur multi-instans GPU (MIG) dan mengaktifkan atau menonaktifkannya setelah memulai instans ebmgn7e. Untuk informasi lebih lanjut tentang fitur MIG, lihat Panduan Pengguna GPU Multi-Instans NVIDIA.
Tabel berikut menjelaskan dukungan fitur MIG pada tipe instans dalam keluarga instans ebmgn7e.
Tipe instans | Dukungan untuk MIG | Deskripsi |
ecs.ebmgn7e.32xlarge | Ya | Fitur MIG didukung oleh instans ebmgn7e. |
ebmgn7i, Keluarga Instans ECS Bare Metal yang Dioptimalkan untuk Komputasi dengan Akselerasi GPU
Pengenalan: Keluarga instans ini menggunakan arsitektur SHENLONG untuk menyediakan komputasi terdefinisi perangkat lunak yang fleksibel dan kuat.
Skenario yang Didukung:
Tugas inferensi AI bersamaan yang memerlukan CPU, memori, dan GPU berperforma tinggi, seperti pengenalan gambar, pengenalan suara, dan identifikasi perilaku.
Tugas pemrosesan grafis intensif komputasi yang membutuhkan kemampuan virtualisasi grafis 3D berperforma tinggi, seperti desain grafis jarak jauh dan cloud gaming.
Skenario yang memerlukan lebar pita jaringan dan lebar pita disk yang tinggi, seperti pembuatan render farm berperforma tinggi.
Aplikasi pelatihan deep learning skala kecil yang memerlukan lebar pita jaringan tinggi.
Komputasi:
Menggunakan GPU NVIDIA A10 yang memiliki fitur-fitur berikut:
Arstitektur NVIDIA Ampere yang inovatif.
Dukungan untuk fitur akselerasi seperti vGPU, teknologi RTX, dan mesin inferensi TensorRT.
Menggunakan Prosesor Intel® Xeon® Scalable (Ice Lake) 2,9 GHz yang memberikan frekuensi turbo semua inti sebesar 3,5 GHz.
Penyimpanan:
Merupakan keluarga instans di mana semua instans dioptimalkan I/O.
Mendukung ESSD, Disk ESSD AutoPL, dan ESSD Regional. Untuk informasi tentang disk, lihat Ikhtisar Penyimpanan Blok.
Jaringan:
Mendukung IPv4 dan IPv6. Untuk informasi tentang komunikasi IPv6, lihat Komunikasi IPv6.
Menyediakan performa jaringan ultra-tinggi dengan laju pengalihan paket sebesar 24.000.000 pps.
Tipe instans ebmgn7i
Tipe instans | vCPUs | Memori (GiB) | GPU | Memori GPU | Lebar pita dasar jaringan (Gbit/s) | Laju pengalihan paket (pps) | Antrian NIC | ENI | Alamat IPv4 pribadi per ENI | Alamat IPv6 per ENI |
ecs.ebmgn7i.32xlarge | 128 | 768 | NVIDIA A10 * 4 | 24GB * 4 | 64 | 24.000.000 | 32 | 32 | 10 | 1 |
ebmgn7, Keluarga Instans ECS Bare Metal yang Dioptimalkan untuk Komputasi dengan Akselerasi GPU
Pengenalan: Keluarga instans ini menggunakan arsitektur SHENLONG untuk menyediakan komputasi terdefinisi perangkat lunak yang fleksibel dan kuat.
Skenario yang Didukung:
Aplikasi pembelajaran mendalam, seperti aplikasi pelatihan algoritma AI yang digunakan dalam klasifikasi gambar, kendaraan otonom, dan pengenalan suara.
Aplikasi komputasi ilmiah yang memerlukan kemampuan komputasi GPU yang kuat, seperti dinamika fluida komputasi, keuangan komputasi, dinamika molekuler, dan analitik lingkungan.
Komputasi:
Menggunakan prosesor Intel® Xeon® Platinum 8269CY (Cascade Lake) 2,5 GHz.
Penyimpanan:
Merupakan keluarga instans di mana semua instans dioptimalkan untuk I/O.
Mendukung ESSD, Disk ESSD AutoPL, dan ESSD Regional. Untuk informasi tentang disk, lihat Ikhtisar Penyimpanan Blok.
Jaringan:
Mendukung IPv4 dan IPv6. Untuk informasi tentang komunikasi IPv6, lihat Komunikasi IPv6.
Menyediakan performa jaringan tinggi berdasarkan kapasitas komputasi besar.
Tipe instans ebmgn7
Tipe instans | vCPUs | Memori (GiB) | Memori GPU | Bandwidth dasar jaringan (Gbit/s) | Laju penerusan paket (pps) | Antrian NIC | ENIs | Alamat IPv4 privat per ENI | Alamat IPv6 per ENI |
ecs.ebmgn7.26xlarge | 104 | 768 | 40GB*8 | 30 | 18.000.000 | 16 | 15 | 10 | 1 |
Anda harus secara manual memeriksa status fitur MIG dan mengaktifkan atau menonaktifkan fitur MIG setelah memulai instans ebmgn7. Untuk informasi lebih lanjut tentang MIG, lihat Panduan Pengguna MIG.
Tabel berikut menjelaskan apakah fitur MIG didukung oleh instans ebmgn7.
Tipe instans | Dukungan untuk MIG | Deskripsi |
ecs.ebmgn7.26xlarge | Ya | Fitur MIG didukung oleh instans ebmgn7. |
ebmgn6e, Keluarga Instans ECS Bare Metal yang Dioptimalkan untuk Komputasi dengan Akselerasi GPU
Pengenalan:
Keluarga instans ini menggunakan arsitektur SHENLONG untuk menyediakan komputasi terdefinisi perangkat lunak yang fleksibel dan kuat.
Keluarga instans ini menggunakan GPU NVIDIA V100 yang masing-masing memiliki 32 GB Memori GPU dan mendukung NVLink.
Keluarga instans ini menggunakan GPU NVIDIA V100 (berbasis SXM2) yang memiliki fitur-fitur berikut:
Arstitektur NVIDIA Volta yang inovatif.
32 GB memori HBM2 (bandwidth 900 GB/s) per GPU.
5.120 inti CUDA per GPU.
640 inti Tensor per GPU.
Hingga enam koneksi NVLink per GPU, masing-masing menyediakan bandwidth 25 GB/s dalam setiap arah untuk total bandwidth 300 GB/s (6 × 25 × 2 = 300).
Skenario yang Didukung:
Aplikasi pembelajaran mendalam, seperti aplikasi pelatihan dan inferensi algoritma AI yang digunakan dalam klasifikasi gambar, kendaraan otonom, dan pengenalan suara.
Aplikasi komputasi ilmiah, seperti dinamika fluida komputasi, keuangan komputasi, dinamika molekuler, dan analitik lingkungan.
Komputasi:
Menawarkan Rasio CPU-memori sebesar 1:8.
Menggunakan Prosesor Intel® Xeon® Platinum 8163 (Skylake) 2,5 GHz.
Penyimpanan:
Merupakan keluarga instans di mana semua instans dioptimalkan untuk I/O.
Mendukung ESSD, Disk ESSD AutoPL, ESSD Regional, SSD standar, dan disk ultra. Untuk informasi tentang disk, lihat Ikhtisar Penyimpanan Blok.
Jaringan:
Mendukung IPv4 dan IPv6. Untuk informasi tentang komunikasi IPv6, lihat Komunikasi IPv6.
Menyediakan performa jaringan tinggi berdasarkan kapasitas komputasi besar.
Tipe instans ebmgn6e
Tipe instans | vCPUs | Memori (GiB) | GPU | Memori GPU | Bandwidth dasar jaringan (Gbit/s) | Laju penerusan paket (pps) | Antrian NIC | ENIs | Alamat IPv4 pribadi per ENI | Alamat IPv6 per ENI |
ecs.ebmgn6e.24xlarge | 96 | 768 | NVIDIA V100 * 8 | 32GB * 8 | 32 | 4.800.000 | 16 | 15 | 10 | 1 |
ebmgn6v, Keluarga Instans ECS Bare Metal yang Dioptimalkan untuk Komputasi dengan Akselerasi GPU
Pengenalan:
Keluarga instans ini menggunakan arsitektur SHENLONG untuk menyediakan komputasi terdefinisi perangkat lunak yang fleksibel dan kuat.
Keluarga instans ini menggunakan GPU NVIDIA V100.
Keluarga instans ini menggunakan GPU NVIDIA V100 (berbasis SXM2) yang memiliki fitur-fitur berikut:
Arstitektur NVIDIA Volta yang inovatif.
16 GB memori HBM2 (bandwidth 900 GB/s) per GPU.
5.120 inti CUDA per GPU.
640 inti Tensor per GPU.
Hingga enam koneksi NVLink per GPU, masing-masing menyediakan bandwidth 25 GB/s dalam setiap arah untuk total bandwidth 300 GB/s (6 × 25 × 2 = 300).
Skenario yang Didukung:
Aplikasi pembelajaran mendalam, seperti aplikasi pelatihan dan inferensi algoritma AI yang digunakan dalam klasifikasi gambar, kendaraan otonom, dan pengenalan suara.
Aplikasi komputasi ilmiah, seperti dinamika fluida komputasi, keuangan komputasi, dinamika molekuler, dan analitik lingkungan.
Komputasi:
Menawarkan rasio CPU-memori sebesar 1:4.
Menggunakan prosesor Intel® Xeon® Platinum 8163 (Skylake) 2,5 GHz.
Penyimpanan:
Merupakan keluarga instans di mana semua instans dioptimalkan I/O.
Mendukung ESSD, Disk ESSD AutoPL, ESSD Regional, SSD standar, dan disk ultra. Untuk informasi tentang disk, lihat Ikhtisar Penyimpanan Blok.
Jaringan:
Mendukung IPv4 dan IPv6. Untuk informasi tentang komunikasi IPv6, lihat Komunikasi IPv6.
Menyediakan performa jaringan tinggi berdasarkan kapasitas komputasi besar.
Tipe instans ebmgn6v
Tipe instans | vCPUs | Memori (GiB) | GPU | Memori GPU | Bandwidth dasar jaringan (Gbit/s) | Laju penerusan paket (pps) | Antrian NIC | ENIs | Alamat IPv4 pribadi per ENI | Alamat IPv6 per ENI |
ecs.ebmgn6v.24xlarge | 96 | 384 | NVIDIA V100 * 8 | 16GB * 8 | 30 | 4.500.000 | 8 | 32 | 10 | 1 |
ebmgn6i, Keluarga Instans ECS Bare Metal yang Dioptimalkan untuk Komputasi dengan Akselerasi GPU
Pengenalan:
Keluarga instans ini menggunakan arsitektur SHENLONG untuk menyediakan komputasi terdefinisi perangkat lunak yang fleksibel dan kuat.
Keluarga instans ini menggunakan GPU NVIDIA T4 yang memiliki fitur-fitur berikut:
Arstitektur NVIDIA Turing yang inovatif.
16 GB memori (bandwidth 320 GB/s) per GPU.
2.560 inti CUDA per GPU.
Hingga 320 inti Tensor Turing per GPU.
Inti Tensor presisi campuran yang mendukung 65 FP16 TFLOPS, 130 INT8 TOPS, dan 260 INT4 TOPS.
Skenario yang Didukung:
Inferensi AI (pembelajaran mendalam dan pembelajaran mesin) untuk visi komputer, pengenalan suara, sintesis ucapan, pemrosesan bahasa alami (NLP), penerjemahan mesin, dan sistem referensi.
Rendering real-time untuk cloud gaming.
Rendering real-time untuk aplikasi Augmented Reality (AR) dan Virtual Reality (VR).
Workstation grafis atau komputasi intensif grafis.
Database yang dipercepat oleh GPU.
Komputasi berperforma tinggi.
Komputasi:
Menawarkan rasio CPU-memori sebesar 1:4.
Menggunakan prosesor Intel® Xeon® Platinum 8163 (Skylake) 2,5 GHz.
Penyimpanan:
Merupakan keluarga instans di mana semua instans dioptimalkan I/O.
Mendukung ESSD, Disk ESSD AutoPL, ESSD Regional, SSD standar, dan disk ultra. Untuk informasi tentang disk, lihat Ikhtisar Penyimpanan Blok.
Jaringan:
Mendukung IPv4 dan IPv6. Untuk informasi tentang komunikasi IPv6, lihat Komunikasi IPv6.
Menyediakan performa jaringan tinggi berdasarkan kapasitas komputasi besar.
Tipe instans ebmgn6i
Tipe instans | vCPUs | Memori (GiB) | GPU | Memori GPU | Bandwidth dasar jaringan (Gbit/s) | Laju forwarding paket (pps) | Antrian NIC | ENIs | Alamat IPv4 privat per ENI | Alamat IPv6 per ENI |
ecs.ebmgn6i.24xlarge | 96 | 384 | NVIDIA T4 * 4 | 16GB * 4 | 30 | 4.500.000 | 8 | 32 | 10 | 1 |
gn5i, keluarga instans yang dioptimalkan untuk komputasi dengan akselerasi GPU
Skenario yang Didukung: Beban kerja komputasi GPU sisi server, seperti inferensi pembelajaran mendalam dan pengkodean serta penguraian multimedia.
Komputasi:
Menggunakan GPU NVIDIA P4.
Menawarkan rasio CPU-memori sebesar 1:4.
Menggunakan prosesor Intel® Xeon® E5-2682 v4 (Broadwell) 2,5 GHz.
Penyimpanan:
Merupakan keluarga instans di mana semua instans dioptimalkan untuk I/O.
Mendukung SSD standar dan ultra disk.
Jaringan:
Mendukung IPv4 dan IPv6. Untuk informasi tentang komunikasi IPv6, lihat IPv6 communication.
Memberikan performa jaringan tinggi berdasarkan kapasitas komputasi besar.
Tipe instans gn5i tipe instans
Tipe instans | vCPUs | Memori (GiB) | GPU | Memori GPU | Bandwidth dasar jaringan (Gbit/s) | Laju penerusan paket (pps) | Antrian NIC | ENIs | Alamat IPv4 pribadi per ENI | Alamat IPv6 per ENI |
ecs.gn5i-c2g1.large | 2 | 8 | NVIDIA P4 * 1 | 8GB * 1 | 1 | 100.000 | 2 | 2 | 6 | 1 |
ecs.gn5i-c4g1.xlarge | 4 | 16 | NVIDIA P4 * 1 | 8GB * 1 | 1,5 | 200.000 | 2 | 3 | 10 | 1 |
ecs.gn5i-c8g1.2xlarge | 8 | 32 | NVIDIA P4 * 1 | 8GB * 1 | 2 | 400.000 | 4 | 4 | 10 | 1 |
ecs.gn5i-c16g1.4xlarge | 16 | 64 | NVIDIA P4 * 1 | 8GB * 1 | 3 | 800.000 | 4 | 8 | 20 | 1 |
ecs.gn5i-c16g1.8xlarge | 32 | 128 | NVIDIA P4 * 2 | 8GB * 2 | 6 | 1.200.000 | 8 | 8 | 20 | 1 |
ecs.gn5i-c28g1.14xlarge | 56 | 224 | NVIDIA P4 * 2 | 8GB * 2 | 10 | 2.000.000 | 14 | 8 | 20 | 1 |
gn5, Keluarga instans yang dioptimalkan untuk komputasi dengan akselerasi GPU
Skenario yang Didukung:
Pembelajaran mendalam.
Aplikasi komputasi ilmiah, seperti dinamika fluida komputasi, keuangan komputasi, genomik, dan analitik lingkungan.
Beban kerja komputasi GPU sisi server, seperti komputasi berperforma tinggi, rendering, dan pengkodean serta penguraian multimedia.
Komputasi:
Menggunakan GPU NVIDIA P100.
Menawarkan beberapa rasio CPU-memori.
Menggunakan prosesor Intel® Xeon® E5-2682 v4 (Broadwell) 2,5 GHz.
Penyimpanan:
Mendukung SSD NVMe lokal berperforma tinggi.
Merupakan keluarga instans di mana semua instans dioptimalkan untuk I/O.
Mendukung SSD standar dan disk ultra.
Jaringan:
Hanya mendukung IPv4.
Memberikan performa jaringan tinggi berdasarkan kapasitas komputasi besar.
Tipe instans gn5 tipe instans
Tipe instans | vCPU | Memori (GiB) | Penyimpanan lokal (GiB) | GPU | Memori GPU | Bandwidth dasar jaringan (Gbit/s) | Laju penerusan paket (pps) | Antrian NIC | ENIs | Alamat IPv4 pribadi per ENI |
ecs.gn5-c4g1.xlarge | 4 | 30 | 440 | NVIDIA P100 * 1 | 16GB * 1 | 3 | 300.000 | 1 | 3 | 10 |
ecs.gn5-c8g1.2xlarge | 8 | 60 | 440 | NVIDIA P100 * 1 | 16GB * 1 | 3 | 400.000 | 1 | 4 | 10 |
ecs.gn5-c4g1.2xlarge | 8 | 60 | 880 | NVIDIA P100 * 2 | 16GB * 2 | 5 | 1.000.000 | 4 | 4 | 10 |
ecs.gn5-c8g1.4xlarge | 16 | 120 | 880 | NVIDIA P100 * 2 | 16GB * 2 | 5 | 1.000.000 | 4 | 8 | 20 |
ecs.gn5-c28g1.7xlarge | 28 | 112 | 440 | NVIDIA P100 * 1 | 16GB * 1 | 5 | 2.250.000 | 7 | 8 | 10 |
ecs.gn5-c8g1.8xlarge | 32 | 240 | 1.760 | NVIDIA P100 * 4 | 16GB * 4 | 10 | 2.000.000 | 8 | 8 | 20 |
ecs.gn5-c28g1.14xlarge | 56 | 224 | 880 | NVIDIA P100 * 2 | 16GB * 2 | 10 | 4.500.000 | 14 | 8 | 20 |
ecs.gn5-c8g1.14xlarge | 54 | 480 | 3.520 | NVIDIA P100 * 8 | 16GB * 8 | 25 | 4.000.000 | 14 | 8 | 10 |