Elastic GPU Service：Keluarga instans yang dioptimalkan untuk komputasi dengan akselerasi GPU (seri gn, ebm, dan scc)

gn8v dan gn8v-tee, keluarga instans yang dioptimalkan untuk komputasi dengan akselerasi GPU

Keluarga instans gn8v dan gn8v-tee hanya tersedia di wilayah tertentu, termasuk wilayah di luar Tiongkok. Untuk menggunakan keluarga instans ini, hubungi tenaga penjualan Alibaba Cloud.

• Pengenalan:

  • gn8v: Keluarga instans ini merupakan keluarga instans yang dioptimalkan untuk komputasi dengan akselerasi GPU generasi kedelapan dari Alibaba Cloud, dirancang khusus untuk pelatihan model AI dan tugas inferensi model bahasa besar (LLM) ultra besar. Keluarga instans ini terdiri dari beberapa tipe instans yang menyediakan satu, dua, empat, atau delapan GPU per instans.

  • gn8v-tee: Untuk memenuhi persyaratan keamanan dalam pelatihan dan inferensi model bahasa besar, Alibaba Cloud menyediakan keluarga instans generasi kedelapan berbasis gn8v yang mencakup fitur komputasi rahasia. Tipe instans ini mengenkripsi data selama komputasi GPU guna memastikan keamanan data pengguna.

• Skema penggunaan:

  • Komputasi inferensi paralel multi-GPU untuk LLM dengan lebih dari 70 miliar parameter

  • Pelatihan model AI tradisional dan pelatihan mengemudi otonom, di mana setiap GPU memberikan daya komputasi hingga 39,5 TFLOPS dalam format titik mengambang presisi tunggal (FP32)

  • Skema pelatihan model berukuran kecil dan menengah yang memanfaatkan koneksi NVLink antar-delapan GPU

• Manfaat dan posisi pasar:

  • Memori GPU berkecepatan tinggi dan berkapasitas besar: Setiap GPU dilengkapi memori HBM3 sebesar 96 GB dan memberikan bandwidth memori hingga 4 TB/s, yang secara signifikan mempercepat pelatihan dan inferensi model.

  • Bandwidth tinggi antar-GPU: Beberapa GPU saling terhubung melalui koneksi NVLink 900 GB/s. Efisiensi pelatihan dan inferensi multi-GPU jauh lebih tinggi dibandingkan generasi instans yang dioptimalkan untuk komputasi dengan akselerasi GPU sebelumnya.

  • Kuantisasi LLM: Keluarga instans ini mendukung daya komputasi dalam format titik mengambang 8-bit (FP8) dan mengoptimalkan daya komputasi untuk pelatihan dan inferensi parameter skala besar. Hal ini secara signifikan meningkatkan kecepatan komputasi pelatihan dan inferensi serta mengurangi penggunaan memori.

  • (Hanya untuk keluarga instans gn8v-tee) Keamanan tinggi: Keluarga instans gn8v-tee mendukung kemampuan komputasi rahasia yang mencakup seluruh rantai tugas inferensi model. Kemampuan tersebut mencakup komputasi rahasia berbasis CPU Intel Trust Domain Extensions (TDX) dan komputasi rahasia berbasis GPU NVIDIA Confidential Computing (CC). Kemampuan komputasi rahasia ini menjamin keamanan data inferensi pengguna dan model perusahaan dalam tugas inferensi dan pelatihan model.

• Komputasi:

  • Menggunakan prosesor Cloud Infrastructure Processing Unit (CIPU) 1.0 terbaru.

    • Mendekouple kemampuan komputasi dari kemampuan penyimpanan, sehingga Anda dapat memilih sumber daya penyimpanan secara fleksibel sesuai kebutuhan bisnis Anda.

    • Menyediakan kemampuan mesin fisik untuk mendukung komunikasi peer-to-peer (P2P) antar-instans yang dipercepat GPU.

  • Menggunakan prosesor Intel Xeon Scalable generasi keempat dengan frekuensi dasar hingga 2,8 GHz dan frekuensi turbo semua inti hingga 3,1 GHz.

• Penyimpanan:

  • Merupakan keluarga instans di mana semua instansnya dioptimalkan untuk I/O.

  • Instans ini mendukung protokol NVMe. Untuk informasi selengkapnya, lihat Ikhtisar protokol NVMe.

  • Mendukung disk elastis sementara, ESSD, disk ESSD AutoPL, dan ESSD Regional. Untuk informasi tentang disk, lihat Ikhtisar Penyimpanan Blok.

• Jaringan:

  • Mendukung IPv4 dan IPv6. Untuk informasi selengkapnya tentang komunikasi IPv6, lihat Komunikasi IPv6.

  • Instans ini mendukung frame jumbo. Untuk informasi selengkapnya, lihat Frame jumbo.

  • Menyediakan kinerja jaringan ultra-tinggi dengan laju pengalihan paket hingga 30.000.000 pps (untuk instans yang dilengkapi delapan GPU).

  • Mendukung antarmuka RDMA elastis (ERI).

  • Catatan

    Untuk informasi cara menggunakan ERI, lihat Aktifkan eRDMA pada instans tingkat perusahaan.

• Keamanan: Mendukung fitur Modul Platform Tepercaya (vTPM). Fitur ini didukung oleh gn8v tetapi tidak didukung oleh gn8v-tee. Untuk informasi selengkapnya, lihat Ikhtisar kemampuan komputasi tepercaya.

gn8v mencakup tipe instans dan data metrik yang tercantum dalam tabel berikut.

gn8v-tee mencakup tipe instans dan data metrik yang tercantum dalam tabel berikut.

gn8is, keluarga instans yang dioptimalkan untuk komputasi dengan akselerasi GPU

Keluarga instans ini hanya tersedia di wilayah tertentu, termasuk wilayah di luar Tiongkok. Untuk menggunakannya, hubungi tenaga penjualan Alibaba Cloud.

• Pengenalan: gn8is adalah keluarga instans yang dioptimalkan untuk komputasi dengan akselerasi GPU generasi kedelapan dari Alibaba Cloud, dikembangkan sebagai respons terhadap pertumbuhan layanan konten yang dihasilkan AI (AIGC). Keluarga ini menggunakan GPU NVIDIA L20 terbaru dan menyediakan tipe instans dengan satu GPU, dua GPU, empat GPU, dan delapan GPU, serta tipe instans dengan rasio CPU-ke-GPU berbeda untuk memenuhi berbagai kebutuhan aplikasi.

• Manfaat dan posisi pasar:

  • Pemrosesan grafis: Keluarga instans ini menggunakan prosesor Intel Xeon Scalable generasi keempat berfrekuensi tinggi untuk menyediakan daya komputasi CPU yang cukup bagi skenario pemodelan 3D, sehingga rendering dan desain grafis menjadi lebih lancar.

  • Tugas inferensi: Menggunakan GPU NVIDIA L20 baru dan menyediakan memori video 48 GB per GPU untuk mempercepat tugas inferensi. Keluarga ini mendukung format angka titik mengambang FP8 dan dapat digunakan bersama wadah ACK untuk mendukung inferensi berbagai model AIGC secara fleksibel. Keluarga ini sangat cocok untuk tugas inferensi model LLM dengan kurang dari 70 miliar parameter.

• Skema penggunaan:

  • Animasi, efek khusus untuk film dan televisi, serta rendering

  • Generasi gambar AIGC dan inferensi LLM

  • Skema pengenalan AI umum lainnya, seperti pengenalan gambar dan pengenalan ucapan

• Komputasi:

  • Menggunakan GPU enterprise-grade NVIDIA L20 baru.

    • Dukungan fitur percepatan seperti TensorRT dan format angka titik mengambang FP8 untuk meningkatkan kinerja inferensi LLM.

    • Hingga 48 GB memori per GPU dan dukungan inferensi LLM 70B atau lebih besar pada satu instans dengan banyak GPU.

    • Peningkatan kemampuan pemrosesan grafis. Misalnya, setelah Anda menginstal driver GRID pada instans gn8is menggunakan Asisten Cloud atau gambar Marketplace Alibaba Cloud, instans ini dapat memberikan kinerja pemrosesan grafis dua kali lipat dibandingkan instans generasi ketujuh.

  • Parameter utama NVIDIA L20:

    Arsitektur GPU	Memori GPU	Kinerja komputasi	Kemampuan enkode/diodek video	Konektivitas antarkartu
    NVIDIA Ada Lovelace	Kapasitas: 48 GB Bandwidth: 864 GB/s	FP64: Tidak tersedia FP32: 59,3 TFLOPS FP16/BF16: 119 TFLOPS FP8/INT8: 237 TFLOPS	3 × Encoder Video (+AV1) 3 × Decoder Video 4 × Decoder JPEG	Antarmuka PCIe: PCIe Gen4 x16 Bandwidth: 64 GB/s

  • Menggunakan prosesor Intel^® Xeon^® berfrekuensi tinggi terbaru yang memberikan frekuensi turbo semua inti 3,9 GHz untuk memenuhi kebutuhan pemodelan 3D kompleks.

• Penyimpanan:

  • Merupakan keluarga instans di mana semua instansnya dioptimalkan untuk I/O.

  • Instans ini mendukung protokol NVMe. Untuk informasi selengkapnya, lihat Ikhtisar protokol NVMe.

  • Mendukung disk elastis sementara, SSD Perusahaan (ESSD), disk ESSD AutoPL, dan ESSD Regional. Untuk informasi tentang disk, lihat Ikhtisar Penyimpanan Blok.

• Jaringan:

  • Mendukung IPv4 dan IPv6. Untuk informasi selengkapnya tentang komunikasi IPv6, lihat Komunikasi IPv6.

  • Mendukung ERI.

    Catatan

    Untuk informasi cara menggunakan ERI, lihat Aktifkan eRDMA pada instans tingkat perusahaan.

• Keamanan: Instans ini mendukung fitur vTPM. Untuk informasi selengkapnya, lihat Ikhtisar komputasi tepercaya.

gn7e, keluarga instans yang dioptimalkan untuk komputasi dengan akselerasi GPU

gn7i, keluarga instans yang dioptimalkan untuk komputasi dengan akselerasi GPU

gn7s, keluarga instans yang dioptimalkan untuk komputasi dengan akselerasi GPU

Untuk menggunakan keluarga instans gn7s, ajukan tiket untuk mengajukan permohonan.

gn7, keluarga instans yang dioptimalkan untuk komputasi dengan akselerasi GPU

gn6i, keluarga instans yang dioptimalkan untuk komputasi dengan akselerasi GPU

gn6e, keluarga instans yang dioptimalkan untuk komputasi dengan akselerasi GPU

gn6v, keluarga instans yang dioptimalkan untuk komputasi dengan akselerasi GPU

ebmgn9g, keluarga instans Mesin Fisik ECS yang dioptimalkan untuk komputasi dengan akselerasi GPU

• Pengenalan: ebmgn9g adalah keluarga instans Mesin Fisik ECS yang dioptimalkan untuk komputasi dengan akselerasi GPU generasi kesembilan, lengkap fitur, dan hemat biaya dari Alibaba Cloud. Keluarga ini menggunakan CIPU 2.0 terbaru untuk memberikan layanan cloud. Dilengkapi CPU berfrekuensi tinggi, memori berkapasitas besar, dan GPU profesional berarsitektur Blackwell terbaru, keluarga instans ini menyediakan komputasi GPU cloud hemat biaya untuk pelatihan mengemudi otonom dan AI berwujud, inferensi model bahasa besar, rendering film dan animasi, layanan metaverse dan cloud gaming, serta beban kerja lain yang dipercepat GPU.

• Skema penggunaan dan fitur utama:

  • Mengemudi otonom dan AI berwujud:
    Menyediakan 256 vCPU. Semua core CPU berjalan pada frekuensi hingga 4,2 GHz atau lebih tinggi. Dipasangkan dengan memori 2,3 TB, keluarga ini mendukung kebutuhan pemrosesan data untuk pelatihan mengemudi otonom dan AI berwujud.

  • Pencarian dan rekomendasi:
    GPU Blackwell memberikan daya komputasi TF32 berkinerja-tinggi sebesar 137 TFLOPS. Setiap GPU dipasangkan dengan 32 vCPU dan bandwidth memori 153 GB/s, memberikan konfigurasi optimal untuk beban kerja pencarian dan iklan.

  • Inferensi model besar:
    GPU generasi terbaru memberikan daya komputasi lebih tinggi dibandingkan keluarga instans generasi kedelapan. Bandwidth memori GPU ditingkatkan menjadi 1344 GB/s. Dukungan baru untuk komputasi FP4 secara signifikan meningkatkan kinerja inferensi dan efisiensi biaya. Delapan GPU dihubungkan melalui PCIe Gen5, yang memberikan bandwidth antar-GPU sebesar 128 GB/s dan sangat meningkatkan efisiensi inferensi paralel multi-GPU.

  • Cloud gaming, rendering, dan metaverse:
    CPU mencapai frekuensi clock hingga 5 GHz, menjadikannya pilihan utama untuk pemodelan 3D. GPU secara native mendukung kemampuan grafis dan mencakup driver grafis kelas workstation yang telah disertifikasi untuk desain profesional. Keluarga ini sepenuhnya mempercepat OpenGL, menjadikannya pilihan terbaik untuk pengembangan film dan animasi kelas atas serta desain berbantu komputer (CAD).

• Didukung oleh prosesor cloud CIPU 2.0 terbaru:

  CIPU generasi kedua memberikan daya pemrosesan cloud yang lebih tinggi dan peningkatan kinerja komponen eRDMA, VPC, dan EBS. Instans Mesin Fisik ECS memberikan akses langsung ke sumber daya fisik. Keluarga ini juga mendukung beban kerja yang memerlukan lisensi terikat perangkat keras. Wadah seperti Docker, Clear Container, dan Pouch didukung.

• Komputasi:

  • Menampilkan GPU profesional berarsitektur Blackwell terbaru:

    • Mendukung OpenGL untuk pemrosesan grafis kelas profesional.

    • Mendukung fitur percepatan umum seperti RTX dan TensorRT. Baru ditingkatkan untuk mendukung interkoneksi FP4 dan PCIe Gen5.

    • Menggunakan interkoneksi PCIe Switch. Dibandingkan dengan koneksi langsung ke CPU, kinerja NCCL meningkat 36%. Untuk inferensi model besar terbagi multi-GPU, kinerja puncak meningkat hingga 9%.

  • Spesifikasi GPU:

    Arsitektur GPU	Memori GPU	Kinerja komputasi	Kemampuan enkode/dekode video	Interkoneksi antar-GPU	API yang dipercepat
    Blackwell	Kapasitas: 48 GB Bandwidth: 1344 GB/s	TF32: 126 TFLOPS FP32: 52 TFLOPS FP16/BF16: 266 TFLOPS FP8/INT8: 533 TFLOPS FP4: 970 TFLOPS Core RT: 196 TFLOPS	3 × Encoder Video 3 × Decoder Video	PCIe Gen5 x16: 128 GB/s Dukungan P2P	Mendukung DX12, OpenGL 4.6, Vulkan 1.3, CUDA 12.8, OpenCL 3.0, DirectCompute

  • Prosesor: Menggunakan prosesor AMD Turin-C (SPR) dengan frekuensi clock 3,3 GHz hingga 5 GHz. Frekuensi semua core hingga 4,2 GHz.

• Penyimpanan:

  • Ini adalah instans yang dioptimalkan untuk I/O.

  • Mendukung protokol NVMe. Untuk detailnya, lihat Protokol NVMe.

  • Jenis disk yang didukung termasuk Disk elastis sementara, ESSD, Disk ESSD AutoPL, dan ESSD Regional. Untuk informasi lebih lanjut tentang disk, lihat Ikhtisar Penyimpanan Blok.

• Jaringan:

  • Mendukung IPv4 dan IPv6. Untuk informasi lebih lanjut tentang komunikasi IPv6, lihat Komunikasi IPv6.

  • Menyediakan kinerja jaringan ultra-tinggi hingga 30 juta PPS untuk pengalihan paket.

  • Mendukung Antarmuka RDMA Elastis (ERI). Dalam jaringan VPC, ERI memungkinkan akselerasi tembus RDMA dan meningkatkan bandwidth hingga 360 Gbit/s. Anda dapat menggunakannya untuk mengemudi otonom, AI berwujud, visi komputer (CV), dan pelatihan model tradisional.

    Catatan

    Untuk petunjuk cara menggunakan ERI, lihat Aktifkan eRDMA pada instans tingkat perusahaan .

Tipe instans ebmgn9g

ebmgn9ge, Keluarga Instans Mesin Fisik ECS yang Dioptimalkan untuk Komputasi dengan Akselerasi GPU

• Pengenalan: Keluarga ebmgn9ge adalah keluarga instans Mesin Fisik ECS generasi kesembilan, lengkap fitur, dan hemat biaya dari Alibaba Cloud. Keluarga ini menggunakan CIPU 2.0 terbaru dan menampilkan CPU berfrekuensi tinggi, kapasitas memori besar, serta kartu grafis profesional berbasis arsitektur Blackwell terbaru. Kombinasi ini memberikan akselerasi GPU hemat biaya untuk skenario seperti pelatihan mengemudi otonom dan intelijensi berwujud, inferensi model bahasa besar (LLM), rendering film dan animasi, serta layanan metaverse atau cloud gaming.

• Skema penggunaan dan fitur:

  • Mengemudi otonom dan intelijensi berwujud:
    Instans ini menyediakan 256 vCPU dengan semua core berjalan di atas 4,2 GHz dan memori 2,3 TB, memenuhi persyaratan pemrosesan data untuk pelatihan mengemudi otonom dan intelijensi berwujud.

  • Pencarian dan rekomendasi:
    GPU Blackwell memberikan daya komputasi TF32 berkinerja-tinggi sebesar 137 TFLOPS. Setiap GPU dipasangkan dengan 32 vCPU dan bandwidth memori 153 GB/s, menawarkan konfigurasi optimal untuk layanan pencarian dan periklanan.

  • Inferensi model besar:

    Instans ebmgn9ge dirancang untuk model bahasa besar. Instans ini menyediakan memori GPU 72 GB per kartu dan bandwidth memori 1344 GB/s, memungkinkan inferensi berkinerja-tinggi untuk skenario LLM. Dengan arsitektur komputasi FP4 baru dan bandwidth PCIe generasi kelima sebesar 128 GB/s, instans ini mendukung inferensi paralel 8-kartu untuk model dengan lebih dari 671 miliar parameter.

  • Cloud gaming, rendering, dan metaverse:
    CPU mencapai frekuensi clock tinggi hingga 5 GHz, menjadikannya ideal untuk pemodelan 3D. GPU secara native mendukung grafis dan mencakup driver kelas workstation yang disertifikasi untuk desain profesional. Instans ini juga mendukung akselerasi OpenGL lengkap, menjadikannya pilihan optimal untuk pengembangan film dan animasi kelas atas serta desain berbantu komputer (CAD).

• Menggunakan prosesor cloud CIPU 2.0 terbaru:

  CIPU generasi kedua memberikan daya pemrosesan cloud yang lebih tinggi dan peningkatan kemampuan komputasi untuk komponen elastic Remote Direct Memory Access (eRDMA), VPC, dan EBS. Instans Mesin Fisik ECS memungkinkan akses langsung ke sumber daya fisik dan ideal untuk beban kerja yang memerlukan lisensi terikat perangkat keras. Instans ini mendukung wadah seperti Docker, Clear Container, dan Pouch.

• Komputasi:

  • Menggunakan kartu grafis profesional berbasis arsitektur Blackwell terbaru:

    • Mendukung pemrosesan grafis OpenGL kelas profesional.

    • Mendukung fitur percepatan umum seperti RTX dan TensorRT dan baru ditingkatkan untuk mendukung interkoneksi FP4 dan PCIe Gen5.

    • Menggunakan PCIe Switch untuk interkoneksi. Dibandingkan dengan koneksi langsung ke CPU, ini meningkatkan kinerja NCCL sebesar 36% dan meningkatkan kinerja hingga 9% untuk inferensi model besar multi-kartu terbagi.

  • Parameter utama GPU:

    Arsitektur GPU	Memori GPU	Kinerja komputasi	Kemampuan enkode/dekode video	Koneksi antarkartu	API Akselerasi
    Blackwell	Kapasitas: 72 GB Bandwidth: 1344 GB/s	TF32: 126 TFLOPS FP32: 52 TFLOPS FP16/BF16: 266 TFLOPS FP8/INT8: 533 TFLOPS FP4: 970 TFLOPS Core RT: 196 TFLOPS	3 × Encoder Video 3 × Decoder Video	PCIe Gen5 x16: 128 GB/s Dukungan P2P	Mendukung DX12, OpenGL 4.6, Vulkan 1.3, CUDA 12.8, OpenCL 3.0, dan DirectCompute

  • Prosesor: Prosesor AMD Turin-C (SPR) dengan frekuensi clock berkisar antara 3,3 GHz hingga 5 GHz. Semua core dapat mencapai hingga 4,2 GHz.

• Penyimpanan:

  • Instans dioptimalkan untuk I/O.

  • Mendukung protokol NVMe. Untuk informasi selengkapnya, lihat Protokol NVMe.

  • Jenis disk yang didukung: Disk elastis sementara, ESSD, Disk ESSD AutoPL, dan ESSD Regional. Untuk informasi selengkapnya tentang disk, lihat Ikhtisar Penyimpanan Blok.

• Jaringan:

  • Mendukung IPv4 dan IPv6. Untuk informasi tentang komunikasi IPv6, lihat Komunikasi IPv6.

  • Kinerja jaringan ultra-tinggi dengan kemampuan pengalihan paket 30 juta PPS.

  • Mendukung Antarmuka RDMA Elastis (ERI). ERI memungkinkan akselerasi tembus RDMA untuk interkoneksi dipercepat dalam VPC, meningkatkan bandwidth hingga 360 Gbit/s. Fitur ini dapat digunakan untuk tugas pelatihan dalam mengemudi otonom, intelijensi berwujud, visi komputer (CV), dan model tradisional.

    Catatan

    Untuk petunjuk cara menggunakan ERI, lihat Aktifkan eRDMA pada instans tingkat perusahaan.

Tabel berikut mencantumkan tipe instans dan spesifikasi untuk keluarga ebmgn9ge.

ebmgn9gc, Keluarga Instans Mesin Fisik ECS yang Dioptimalkan untuk Komputasi dengan Akselerasi GPU

• Pengenalan: ebmgn9gc adalah instans Mesin Fisik ECS generasi kesembilan, hemat biaya, dan lengkap fitur dari Alibaba Cloud. Instans ini dilengkapi dengan CIPU 2.0 terbaru, CPU berfrekuensi tinggi, memori berkapasitas besar, dan GPU profesional berarsitektur Blackwell. Keluarga instans ini menyediakan komputasi cloud GPU hemat biaya untuk beban kerja seperti pelatihan mengemudi otonom dan AI berwujud, inferensi LLM, rendering film dan animasi, serta layanan metaverse dan cloud gaming.

• Skema penggunaan dan fitur:

  • Mengemudi otonom dan AI berwujud:
    Instans ini menyediakan 256 vCPU dengan semua core berjalan pada frekuensi clock hingga 4,2 GHz, dan memori 2,3 TB. Konfigurasi ini memenuhi persyaratan pemrosesan data yang menuntut untuk pelatihan mengemudi otonom dan AI berwujud.

  • Pencarian dan rekomendasi:
    GPU Blackwell memberikan daya komputasi TF32 berkinerja-tinggi sebesar 137 TFLOPS. Setiap GPU dipasangkan dengan 32 vCPU dan bandwidth memori 153 GB/s, yang memberikan konfigurasi optimal untuk beban kerja pencarian dan periklanan.

  • Inferensi model:

    Instans ebmgn9gc dirancang khusus untuk model bahasa besar, menawarkan memori GPU 72 GB per GPU dan bandwidth memori GPU hingga 1344 GB/s. Instans ini menyediakan daya komputasi inferensi berkinerja-tinggi untuk skenario LLM, mendukung arsitektur komputasi FP4 baru, dan menampilkan bandwidth PCIe generasi kelima sebesar 128 GB/s. Hal ini memungkinkan inferensi paralel model besar dengan lebih dari 671 miliar parameter di delapan GPU.

  • Cloud gaming, rendering, dan metaverse:
    CPU memiliki frekuensi clock hingga 5 GHz, yang ideal untuk pemodelan 3D. GPU secara native mendukung kemampuan grafis dan mencakup driver grafis kelas workstation yang disertifikasi untuk aplikasi desain profesional. Instans ini sepenuhnya mempercepat OpenGL, yang menjadikannya pilihan unggul untuk pengembangan film dan animasi kelas atas serta desain CAD.

• Didukung oleh prosesor cloud CIPU 2.0 terbaru:

  CIPU generasi kedua memberikan peningkatan kemampuan pemrosesan cloud, termasuk peningkatan kinerja untuk komponen eRDMA, VPC, dan EBS. Instans Mesin Fisik ECS memberikan akses langsung ke perangkat keras fisik atau mendukung beban kerja yang memerlukan lisensi terikat perangkat keras. CIPU generasi kedua mendukung wadah seperti Docker, Clear Containers, dan Pouch.

• Komputasi:

  • Instans ini menggunakan GPU profesional berbasis arsitektur Blackwell:

    • Mendukung OpenGL untuk pemrosesan grafis kelas profesional.

    • Mendukung fitur percepatan umum, seperti RTX dan TensorRT, bersama dengan interkoneksi FP4 dan PCIe Gen5.

    • Instans ini menggunakan interkoneksi PCIe Switch. Dibandingkan dengan koneksi langsung ke CPU, hal ini meningkatkan kinerja NCCL sebesar 36%. Untuk inferensi LLM multi-GPU terbagi, kinerja puncak meningkat hingga 9%.

  • Spesifikasi GPU:

    Arsitektur GPU	Memori GPU	Kinerja komputasi	Kemampuan enkode/dekode video	Interkoneksi GPU-ke-GPU	API yang Dipercepat
    Blackwell	Kapasitas: 72 GB Bandwidth: 1344 GB/s	TF32: 126 TFLOPS FP32: 52 TFLOPS FP16/BF16: 266 TFLOPS FP8/INT8: 533 TFLOPS FP4: 970 TFLOPS Core RT: 196 TFLOPS	3 × Encoder Video 3 × Decoder Video	PCIe Gen5 x16: 128 GB/s Dukungan peer-to-peer (P2P)	Mendukung DX12, OpenGL 4.6, Vulkan 1.3, CUDA 12.8, OpenCL 3.0, dan DirectCompute

  • Prosesor: Instans ini menggunakan prosesor AMD Turin-C (SPR) dengan frekuensi clock 3,3 GHz hingga 5 GHz. Frekuensi clock semua core hingga 4,2 GHz.

• Penyimpanan:

  • Instans dioptimalkan untuk I/O.

  • Instans ini mendukung protokol NVMe. Untuk informasi selengkapnya, lihat Protokol NVMe.

  • Jenis disk yang didukung adalah Disk elastis sementara, ESSD, Disk ESSD AutoPL, dan ESSD Regional. Untuk informasi selengkapnya tentang disk, lihat Ikhtisar Penyimpanan Blok.

• Jaringan:

  • Instans ini mendukung IPv4 dan IPv6. Untuk informasi selengkapnya tentang komunikasi IPv6, lihat Komunikasi IPv6.

  • Instans ini menyediakan kinerja jaringan ultra-tinggi dengan hingga 30 juta PPS untuk pengalihan paket.

  • Instans ini mendukung Antarmuka RDMA Elastis (ERI). Dalam VPC, ERI memungkinkan akselerasi tembus RDMA dan meningkatkan bandwidth hingga 360 Gbit/s. Fitur ini ideal untuk mengemudi otonom, AI berwujud, visi komputer (CV), dan pelatihan model tradisional.

    Catatan

    Untuk petunjuk cara menggunakan ERI, lihat Aktifkan eRDMA pada instans tingkat perusahaan.

Tabel berikut mencantumkan tipe instans dan spesifikasi untuk keluarga ebmgn9gc.

ebmgn8v, keluarga instans Mesin Fisik ECS yang dioptimalkan untuk komputasi dengan akselerasi GPU

Keluarga instans ini hanya tersedia di wilayah tertentu, termasuk wilayah di luar Tiongkok. Untuk menggunakannya, hubungi tenaga penjualan Alibaba Cloud.

• Pengenalan: Keluarga instans ini adalah keluarga instans Mesin Fisik ECS yang dioptimalkan untuk komputasi dengan akselerasi GPU generasi kedelapan dari Alibaba Cloud, dirancang khusus untuk pelatihan model AI dan model ultra-besar. Setiap instans dalam keluarga ini dilengkapi delapan GPU.

• Skema penggunaan:

  • Komputasi inferensi paralel multi-GPU untuk LLM dengan lebih dari 70 miliar parameter

  • Pelatihan model AI tradisional dan pelatihan mengemudi otonom, di mana setiap GPU memberikan daya komputasi hingga 39,5 TFLOPS dalam format titik mengambang presisi tunggal (FP32)

  • Skema pelatihan model berukuran kecil dan menengah yang memanfaatkan koneksi NVLink antar-delapan GPU

• Manfaat dan posisi pasar:

  • Memori GPU berkecepatan tinggi dan berkapasitas besar: Setiap GPU dilengkapi memori HBM3 sebesar 96 GB dan memberikan bandwidth memori hingga 4 TB/s, yang secara signifikan mempercepat pelatihan dan inferensi model.

  • Bandwidth tinggi antar-GPU: Beberapa GPU saling terhubung melalui koneksi NVLink 900 GB/s. Efisiensi pelatihan dan inferensi multi-GPU jauh lebih tinggi dibandingkan generasi instans yang dioptimalkan untuk komputasi dengan akselerasi GPU sebelumnya.

  • Kuantisasi model besar: Keluarga instans ini mendukung daya komputasi dalam format titik mengambang 8-bit (FP8) dan mengoptimalkan daya komputasi untuk pelatihan dan inferensi parameter skala besar. Hal ini secara signifikan meningkatkan kecepatan komputasi pelatihan dan inferensi serta mengurangi penggunaan memori.

• Komputasi:

  • Menggunakan prosesor CIPU 1.0 terbaru.

    • Mendekouple kemampuan komputasi dari kemampuan penyimpanan, memungkinkan Anda memilih sumber daya penyimpanan secara fleksibel sesuai kebutuhan bisnis Anda, dan meningkatkan bandwidth antar-instans hingga 160 Gbit/s untuk transmisi dan pemrosesan data lebih cepat dibandingkan keluarga instans generasi ketujuh.

    • Menggunakan kemampuan mesin fisik yang disediakan oleh prosesor CIPU untuk mendukung komunikasi peer-to-peer (P2P) antar-instans yang dipercepat GPU.

  • Menggunakan prosesor Intel Xeon Scalable generasi keempat yang memberikan frekuensi turbo semua inti hingga 3,1 GHz dan menyediakan 192 vCPU.

• Penyimpanan:

  • Ini adalah instans yang dioptimalkan untuk I/O.

  • Instans ini mendukung protokol NVMe. Untuk informasi selengkapnya, lihat Ikhtisar protokol NVMe.

  • Mendukung disk elastis sementara, ESSD, disk ESSD AutoPL, dan ESSD Regional. Untuk informasi tentang disk, lihat Ikhtisar Penyimpanan Blok.

• Jaringan:

  • Instans ini mendukung IPv4 dan IPv6. Untuk informasi komunikasi IPv6, lihat Komunikasi IPv6.

  • Menyediakan kinerja jaringan ultra-tinggi dengan laju pengalihan paket 30.000.000 pps.

  • Mendukung ERI untuk memungkinkan komunikasi berbasis RDMA antar-instans dalam VPC dan menyediakan bandwidth hingga 160 Gbit/s per instans, yang cocok untuk tugas pelatihan berbasis model CV dan model tradisional.

    Catatan

    Untuk informasi cara menggunakan ERI, lihat Aktifkan eRDMA pada instans tingkat perusahaan.

Tipe instans ebmgn8v

ebmgn8ia, keluarga instans Mesin Fisik ECS yang dioptimalkan untuk komputasi dengan akselerasi GPU

Keluarga instans ini hanya tersedia di wilayah tertentu, termasuk wilayah di luar Tiongkok. Untuk menggunakannya, hubungi tenaga penjualan Alibaba Cloud.

• Pengenalan: Keluarga instans ini adalah generasi kedelapan instans komputasi percepatan Mesin Fisik ECS dari Alibaba Cloud, dirancang untuk aplikasi seperti pencarian, rekomendasi, dan simulasi yang memerlukan jumlah sumber daya vCPU tinggi per GPU. Keluarga ini didukung oleh GPU NVIDIA L20 terbaru, dan setiap instans merupakan host mesin fisik tunggal yang dilengkapi dua CPU berfrekuensi tinggi dan empat GPU.

• Manfaat dan Skema penggunaan:

  • Frekuensi clock tinggi: Produk ini didukung oleh dua prosesor AMD EPYC™ Genoa 9T34. Setiap prosesor memiliki 64 core fisik, menyediakan total 256 vCPU dengan frekuensi clock berkisar antara 3,4 GHz hingga 3,75 GHz. Konfigurasi ini secara signifikan meningkatkan kinerja CPU single-core, menjadikannya ideal untuk pemodelan CAD dan mempercepat pra-pemrosesan untuk simulasi CAE.

  • Alokasi sumber daya jarang: Setiap GPU dipasangkan rata-rata dengan 64 vCPU dan memori 384 GiB, menyediakan bandwidth memori rata-rata 230 GB/s. Konfigurasi ini ideal untuk skenario komputasi GPU yang memerlukan throughput I/O tinggi, seperti periklanan, pencarian, rekomendasi, dan simulasi CAE tradisional. Konfigurasi ini juga mendukung tugas produksi film dan televisi tertentu yang bergantung pada rendering CPU.

• Menggunakan prosesor CIPU 1.0 terbaru yang memberikan manfaat berikut:

  • Mendekouple kemampuan komputasi dari kemampuan penyimpanan, memungkinkan Anda memilih sumber daya penyimpanan secara fleksibel sesuai kebutuhan bisnis Anda, dan meningkatkan bandwidth antar-instans hingga 160 Gbit/s untuk transmisi dan pemrosesan data lebih cepat dibandingkan keluarga instans generasi sebelumnya.

  • Menggunakan kemampuan mesin fisik yang disediakan oleh prosesor CIPU untuk mendukung komunikasi Peripheral Component Interconnect Express (PCIe) P2P antar-instans yang dipercepat GPU.

• Komputasi:

  • Dengan GPU Enterprise NVIDIA L20 baru:

    • Dukungan fitur percepatan seperti vGPU, teknologi RTX, dan mesin inferensi TensorRT.

    • Dukungan presisi titik mengambang 8-bit meningkatkan efisiensi komputasi.

  • Parameter utama NVIDIA L20:

    Arsitektur GPU	Memori GPU	Kinerja komputasi	Kemampuan codec video	Interkoneksi antarkartu
    NVIDIA Ada Lovelace	Kapasitas: 48 GB Bandwidth: 864 GB/s	FP64: Tidak tersedia FP32: 59,3 TFLOPS FP16/BF16: 119 TFLOPS FP8/INT8: 237 TFLOPS	3 * Encoder Video (+AV1) 3 * Decoder Video 4 * Decoder JPEG	Antarmuka PCIe: PCIe Gen4 x16 Bandwidth: 64 GB/s

  • Prosesor: AMD EPYC™ Genoa 9T34, 3,4 GHz hingga 3,75 GHz.

• Penyimpanan:

  • Ini adalah instans yang dioptimalkan untuk I/O.

  • Instans ini mendukung protokol NVMe. Untuk informasi selengkapnya, lihat Ikhtisar protokol NVMe.

  • Mendukung disk elastis sementara, ESSD, disk ESSD AutoPL, dan ESSD Regional. Untuk informasi tentang disk, lihat Ikhtisar Penyimpanan Blok.

• Newtork:

  • Instans ini mendukung IPv4 dan IPv6. Untuk informasi komunikasi IPv6, lihat Komunikasi IPv6.

  • Menyediakan kinerja jaringan ultra-tinggi dengan laju pengalihan paket 30.000.000 pps.

  • Mendukung ERI untuk memungkinkan komunikasi berbasis RDMA antar-instans dalam VPC dan menyediakan bandwidth hingga 160 Gbit/s per instans, yang cocok untuk tugas pelatihan berbasis model CV dan model tradisional.

    Catatan

    Untuk informasi cara menggunakan ERI, lihat Aktifkan eRDMA pada instans tingkat perusahaan.

ebmgn8is, keluarga instans Mesin Fisik ECS yang dioptimalkan untuk komputasi dengan akselerasi GPU

Keluarga instans ini hanya tersedia di wilayah tertentu, termasuk wilayah di luar Tiongkok. Untuk menggunakannya, hubungi tenaga penjualan Alibaba Cloud.

• Pengenalan: ebmgn8is adalah generasi kedelapan keluarga spesifikasi komputasi percepatan (keluarga instans Mesin Fisik ECS) yang diluncurkan oleh Alibaba Cloud untuk mengatasi perkembangan terkini bisnis pembuatan konten AI. Keluarga ini menggunakan GPU NVIDIA L20 terbaru. Setiap instans merupakan host mesin fisik yang menggunakan delapan kartu komputasi GPU.

• Manfaat dan posisi pasar:

  • Pemrosesan grafis: Keluarga instans ini menggunakan prosesor Intel Xeon Scalable generasi keempat berfrekuensi tinggi untuk memberikan daya komputasi CPU yang cukup dalam skenario pemodelan 3D dan mencapai rendering dan desain grafis yang lancar.

  • Tugas inferensi: menggunakan memori GPU NVIDIA L20 baru sebesar 48 GB pada satu kartu GPU untuk mempercepat tugas inferensi. Keluarga ini mendukung format titik mengambang FP8 dan mendukung inferensi berbasis berbagai model AIGC, terutama untuk tugas inferensi yang menggunakan model LLM di bawah 70 MB.

  • Tugas pelatihan: Keluarga instans ini menyediakan kemampuan komputasi hemat biaya dan memberikan kinerja komputasi FP32 dua kali lipat dibandingkan instans inferensi generasi ketujuh. Instans keluarga ini cocok untuk pelatihan model CV berbasis FP32 dan model kecil-menengah lainnya.

• Skema penggunaan:

  • Produksi dan rendering efek khusus untuk animasi, film, dan televisi berdasarkan kemampuan pemrosesan grafis kelas workstation dalam skenario di mana gambar GRID Marketplace Alibaba Cloud digunakan, driver GRID diinstal, dan kemampuan grafis OpenGL dan Direct3D diaktifkan

  • Skenario di mana layanan manajemen yang disediakan oleh Container Service for Kubernetes (ACK) untuk aplikasi wadah digunakan untuk mendukung konten grafis yang dihasilkan AI dan tugas inferensi LLM dengan hingga 130 miliar parameter

  • Skema pengenalan AI umum lainnya, pengenalan gambar, dan pengenalan ucapan

• Menggunakan prosesor CIPU 1.0 terbaru yang memberikan manfaat berikut:

  • Mendekouple kemampuan komputasi dari kemampuan penyimpanan, memungkinkan Anda memilih sumber daya penyimpanan secara fleksibel sesuai kebutuhan bisnis Anda, dan meningkatkan bandwidth antar-instans hingga 160 Gbit/s untuk transmisi dan pemrosesan data lebih cepat dibandingkan keluarga instans generasi sebelumnya.

  • Menggunakan kemampuan mesin fisik yang disediakan oleh prosesor CIPU untuk mendukung komunikasi PCIe P2P antar-instans yang dipercepat GPU.

• Komputasi:

  • Dengan GPU Enterprise NVIDIA L20 baru:

    • Dukungan fitur percepatan seperti vGPU, teknologi RTX, dan mesin inferensi TensorRT

    • Dukungan interkoneksi PCIe Switch, yang mencapai peningkatan kinerja 36% pada Perpustakaan Komunikasi Kolektif NVIDIA (NCCL) dibandingkan skema koneksi langsung CPU dan membantu meningkatkan kinerja inferensi hingga 9% saat menjalankan tugas inferensi LLM multi-GPU secara paralel

  • Parameter utama NVIDIA L20:

    Arsitektur GPU	Memori GPU	Kinerja komputasi	Kemampuan codec video	Interkoneksi antarkartu
    NVIDIA Ada Lovelace	Kapasitas: 48 GB Bandwidth: 864 GB/s	FP64: Tidak tersedia FP32: 59,3 TFLOPS FP16/BF16: 119 TFLOPS FP8/INT8: 237 TFLOPS	3 * Encoder Video(+AV1) 3 * Decoder Video 4 * Decoder JPEG	Antarmuka PCIe: PCIe Gen4 x16 Bandwidth: 64 GB/s

  • Menggunakan prosesor Intel^® Xeon^® Scalable (SPR) 3,4 GHz yang memberikan frekuensi turbo semua inti hingga 3,9 GHz.

• Penyimpanan:

  • Ini adalah instans yang dioptimalkan untuk I/O.

  • Instans ini mendukung protokol NVMe. Untuk informasi selengkapnya, lihat Ikhtisar protokol NVMe.

  • Mendukung disk elastis sementara, ESSD, disk ESSD AutoPL, dan ESSD Regional. Untuk informasi tentang disk, lihat Ikhtisar Penyimpanan Blok.

• Jaringan:

  • Instans ini mendukung IPv4 dan IPv6. Untuk informasi komunikasi IPv6, lihat Komunikasi IPv6.

  • Menyediakan kinerja jaringan ultra-tinggi dengan laju pengalihan paket 30.000.000 pps.

  • Mendukung ERI untuk memungkinkan komunikasi berbasis RDMA antar-instans dalam VPC dan menyediakan bandwidth hingga 160 Gbit/s per instans, yang cocok untuk tugas pelatihan berbasis model CV dan model tradisional.

    Catatan

    Untuk informasi cara menggunakan ERI, lihat Aktifkan eRDMA pada instans tingkat perusahaan.

ebmgn7e, keluarga instans Mesin Fisik ECS yang dioptimalkan untuk komputasi dengan akselerasi GPU

Anda harus memeriksa status fitur multi-instance GPU (MIG) dan mengaktifkan atau menonaktifkan fitur MIG setelah memulai instans ebmgn7e. Untuk informasi tentang fitur MIG, lihat Panduan Pengguna Multi-Instance GPU NVIDIA.

Tabel berikut menjelaskan apakah fitur MIG didukung oleh tipe instans dalam keluarga instans ebmgn7e.

ebmgn7i, keluarga instans Mesin Fisik ECS yang dioptimalkan untuk komputasi dengan akselerasi GPU

Keluarga instans Mesin Fisik ECS yang dioptimalkan untuk komputasi dengan akselerasi GPU ebmgn7

Anda harus memeriksa dan memutuskan apakah akan mengaktifkan atau menonaktifkan fitur MIG setelah memulai instans ebmgn7. Sistem tidak menjamin bahwa fitur MIG diaktifkan atau dinonaktifkan. Untuk informasi selengkapnya tentang MIG, lihat Panduan Pengguna Multi-Instance GPU NVIDIA.

Tabel berikut menjelaskan apakah instans ebmgn7 mendukung MIG.

ebmgn6e, keluarga instans Mesin Fisik ECS yang dioptimalkan untuk komputasi dengan akselerasi GPU

ebmgn6v, keluarga instans Mesin Fisik ECS yang dioptimalkan untuk komputasi dengan akselerasi GPU

ebmgn6i, keluarga instans Mesin Fisik ECS yang dioptimalkan untuk komputasi dengan akselerasi GPU

gn5i, keluarga instans yang dioptimalkan untuk komputasi dengan akselerasi GPU

gn5, keluarga instans yang dioptimalkan untuk komputasi dengan akselerasi GPU