Elastic GPU Service：Manfaat

Elastic GPU Service

• Cakupan Layanan Luas

  Elastic GPU Service mendukung penyebaran skala besar di 17 wilayah global. Layanan ini juga menyediakan metode pengiriman fleksibel seperti penyediaan otomatis dan penskalaan otomatis untuk memenuhi permintaan bisnis mendadak.

• Kekuatan Komputasi Unggul

  Elastic GPU Service menyediakan GPU dengan performa komputasi tinggi. Saat digunakan bersama platform CPU berperforma tinggi, instans yang dipercepat GPU dapat memberikan performa komputasi presisi campuran hingga 1.000 triliun operasi floating point per detik (TFLOPS).

• Performa Jaringan Superior

  Instans yang dipercepat GPU menggunakan virtual private cloud (VPC) yang mendukung hingga 4,5 juta paket per detik (Mpps) dan bandwidth internal 32 Gbit/s. Anda dapat mengintegrasikan instans ini dengan Super Computing Cluster (SCC) untuk menyediakan jaringan Remote Direct Memory Access (RDMA) dengan bandwidth hingga 50 Gbit/s antar node, memenuhi kebutuhan latensi rendah dan bandwidth tinggi saat mentransmisikan data antar node.

• Metode Pembelian Fleksibel

  Elastic GPU Service mendukung berbagai metode penagihan, termasuk langganan, metode penagihan bayar sesuai pemakaian, instans preemptible, instans cadangan, dan unit kapasitas penyimpanan (SCU). Untuk mencegah penggunaan sumber daya yang tidak efisien, Anda dapat memilih metode penagihan sesuai kebutuhan bisnis Anda.

DeepGPU

DeepGPU mencakup komponen-komponen berikut: Deepytorch, AIACC-ACSpeed (ACSpeed), AIACC-AGSpeed (AGSpeed), FastGPU, dan cGPU. Bagian berikut menjelaskan manfaat utama dari setiap komponen.

Deepytorch

Deepytorch adalah Akselerator AI yang dikembangkan oleh Alibaba Cloud untuk mempercepat pelatihan dan inferensi dalam skenario AI generatif dan Large Language Model (LLM). Deepytorch menawarkan performa tinggi dan kemudahan penggunaan untuk tugas pelatihan dan inferensi. Akselerator ini mencakup paket perangkat lunak Deepytorch Training dan Deepytorch Inference.

• Peningkatan Performa Signifikan

  • Deepytorch Training mengintegrasikan komunikasi terdistribusi dan kompilasi grafik komputasi untuk secara signifikan meningkatkan performa pelatihan ujung ke ujung. Ini mempercepat iterasi pelatihan model dan mengurangi biaya.

  • Deepytorch Inference mempercepat kompilasi untuk mengurangi latensi tugas inferensi model dan meningkatkan ketepatan waktu serta kecepatan respons model. Hal ini membantu meningkatkan performa inferensi secara signifikan.

• Kemudahan Penggunaan

  • Deepytorch Training sepenuhnya kompatibel dengan ekosistem open source, versi PyTorch utama, dan kerangka pelatihan terdistribusi utama seperti DeepSpeed, PyTorch Fully Sharded Data Parallel (FSDP), dan Megatron-LM.

  • Deepytorch Inference menghilangkan kebutuhan untuk menentukan presisi dan ukuran input serta mendukung kompilasi instan untuk mengurangi operasi manual pada kode. Ini meningkatkan kemudahan penggunaan dan mengurangi kompleksitas kode serta biaya pemeliharaan.

DeepNCCL

DeepNCCL adalah pustaka akselerasi komunikasi AI yang dikembangkan untuk produk heterogen Alibaba Cloud berdasarkan arsitektur SHENLONG untuk mendukung komunikasi multi-GPU. Anda dapat menggunakan DeepNCCL untuk mempercepat tugas pelatihan terdistribusi dan tugas inferensi multi-GPU.

• Efisiensi Komunikasi Dioptimalkan

  DeepNCCL mengoptimalkan komunikasi baik pada satu mesin maupun lintas mesin, memberikan performa lebih dari 20% lebih tinggi dibandingkan NCCL asli cloud.

• Akselerasi Tanpa Gangguan

  DeepNCCL mendukung komunikasi multi-GPU dan dapat digunakan untuk mempercepat tugas pelatihan terdistribusi serta tugas inferensi multi-GPU tanpa mengganggu operasional bisnis.

DeepGPU-LLM

DeepGPU-LLM adalah mesin inferensi LLM yang dikembangkan oleh Alibaba Cloud berdasarkan Elastic GPU Service untuk menyediakan kemampuan inferensi berperforma tinggi dalam memproses tugas LLM.

• Performa Tinggi dan Latensi Rendah

  DeepGPU-LLM mendukung paralelisme tensor dan optimasi komunikasi lintas GPU untuk meningkatkan efisiensi dan kecepatan komputasi paralel multi-GPU.

• Dukungan untuk Model Utama

  DeepGPU-LLM mendukung model utama seperti Tongyi Qianwen, Llama, ChatGLM, dan Baichuan untuk memenuhi persyaratan inferensi model dalam berbagai skenario.

FastGPU

FastGPU adalah alat penyebaran kluster cepat yang memungkinkan Anda membangun tugas komputasi AI tanpa perlu menerapkan sumber daya komputasi, penyimpanan, atau jaringan di Lapisan IaaS. Anda hanya perlu mengonfigurasi pengaturan sederhana untuk menerapkan kluster, membantu Anda menghemat waktu dan mengurangi biaya.

• Keefisienan Tinggi

  • Anda dapat dengan cepat menerapkan kluster tanpa perlu menerapkan sumber daya seperti komputasi, penyimpanan, dan jaringan secara terpisah di Lapisan IaaS. Waktu yang diperlukan untuk menerapkan kluster berkurang menjadi 5 menit.

  • Anda dapat mengelola tugas dan sumber daya secara nyaman dan efisien melalui antarmuka dan baris perintah.

• Biaya Efektif

  • Anda dapat membeli instans yang dipercepat GPU setelah dataset selesai dipersiapkan dan memicu tugas pelatihan atau inferensi. Setelah tugas selesai, instans dilepaskan secara otomatis. FastGPU menyinkronkan siklus hidup sumber daya dengan tugas untuk mengurangi biaya.

  • Anda dapat membuat instans preemptible.

• Kemudahan Penggunaan

  • Semua sumber daya diterapkan di Lapisan IaaS dan dapat diakses serta di-debug.

  • FastGPU memenuhi persyaratan visualisasi dan manajemen log serta memastikan bahwa tugas dapat dilacak.

cGPU

cGPU memungkinkan Anda mengalokasikan sumber daya secara fleksibel dan mengisolasi data bisnis Anda. Anda dapat menggunakan cGPU untuk mengurangi biaya dan meningkatkan keamanan.

• Biaya Efektif

  Dengan perkembangan GPU dan industri manufaktur semikonduktor, satu GPU menawarkan kekuatan komputasi lebih tinggi tetapi memiliki harga lebih mahal. Dalam banyak skenario bisnis, aplikasi AI tidak memerlukan seluruh GPU. cGPU memungkinkan beberapa kontainer berbagi satu GPU, mengisolasi data bisnis demi keamanan, meningkatkan Pemanfaatan GPU, dan mengurangi biaya.

• Alokasi Sumber Daya Fleksibel

  cGPU memungkinkan Anda mengalokasikan sumber daya GPU fisik berdasarkan rasio tertentu secara fleksibel.

  • Anda dapat mengalokasikan sumber daya berdasarkan memori GPU atau kekuatan komputasi.

  • cGPU juga memungkinkan Anda mengonfigurasi kebijakan alokasi kekuatan komputasi secara fleksibel. Anda dapat beralih antara tiga kebijakan penjadwalan berikut secara real-time untuk memenuhi persyaratan beban kerja AI selama jam sibuk dan tidak sibuk.