Konfigurasi GPU Slicing untuk Layanan EAS - Platform for AI

Untuk memanfaatkan sumber daya komputasi secara lebih ekonomis dan efisien saat menerapkan layanan model, Elastic Algorithm Service (EAS) mendukung GPU chunking. Fitur ini memungkinkan Anda membagi daya komputasi dan Memori GPU dari satu GPU fisik ke beberapa instans layanan, sehingga secara signifikan meningkatkan Pemanfaatan GPU dan mengurangi biaya penerapan.

Applicability

Anda dapat mengonfigurasi GPU chunking hanya jika semua kondisi berikut terpenuhi:

Resource type: Gunakan EAS resource group atau Lingjun resource quota.
Instance status: Instans GPU dalam kelompok sumber daya Anda harus berada dalam status running—bukan starting, stopped, atau status lainnya.
Catatan
Pertama kali Anda membeli instans GPU, inisialisasi biasanya memerlukan waktu 8 hingga 10 menit. Tunggu hingga instans siap sepenuhnya sebelum mengonfigurasinya.

Configuration guide

Anda dapat mengonfigurasi GPU chunking saat membuat atau memperbarui layanan.

Using the console

Masuk ke PAI console. Pilih Wilayah di bagian atas halaman, lalu pilih ruang kerja yang diinginkan dan klik Elastic Algorithm Service (EAS).
Buat layanan baru atau perbarui layanan yang sudah ada untuk membuka halaman konfigurasi layanan.

Pada bagian Resource Information, konfigurasikan parameter kunci berikut. Untuk detail parameter lainnya, lihat Custom deployment.

Parameter	Description
Resource Type	Pilih EAS Resource Group atau Resource Quota.
GPU Slicing	Pilih kotak centang ini untuk mengaktifkan GPU chunking. Catatan Jika opsi ini tidak muncul, lihat Why is the GPU chunking option missing?
Deployment Resources	Single-GPU Memory (GB): Wajib diisi. Jumlah Memori GPU yang dibutuhkan setiap instans dari satu GPU. Masukkan bilangan bulat. Sistem menjadwalkan instans berdasarkan Memori GPU, sehingga memungkinkan beberapa instans berbagi satu GPU. Penting Untuk spesifikasi sumber daya yang diawali dengan ml, satuannya adalah GB. Untuk yang diawali dengan ecs, satuannya adalah GiB. Computing Power per GPU (%): Opsional. Persentase daya komputasi GPU yang dibutuhkan setiap instans dari satu GPU. Masukkan bilangan bulat antara 1 hingga 100. Sistem menjadwalkan instans berdasarkan daya komputasi GPU, sehingga memungkinkan beberapa instans berbagi satu GPU. Pengaturan GPU memory per GPU dan GPU compute percentage per GPU bekerja bersama. Misalnya, jika Anda mengatur GPU memory per GPU menjadi 48 GB dan GPU compute percentage per GPU menjadi 10%, setiap instans akan menggunakan hingga 48 GB Memori GPU dan hingga 10% daya komputasi GPU.

Setelah selesai mengonfigurasi parameter, klik Deploy atau Update.

Using the local client

Contoh bidang GPU chunking dalam file konfigurasi JSON ditunjukkan di bawah ini:
```
{
    "metadata": {
        "gpu_core_percentage": 5,
        "gpu_memory": 20
    }
}
```
- gpu_memory: Dipetakan ke Single-GPU Memory (GB) di konsol.
- gpu_core_percentage: Dipetakan ke Computing Power per GPU (%) di konsol. Jika Anda menentukan parameter ini, Anda juga harus menentukan gpu_memory. Jika tidak, parameter ini tidak berpengaruh.
Penting
Jika Anda menggunakan penjadwalan berbasis Memori GPU, jangan mengonfigurasi bidang gpu atau atur nilainya menjadi 0. Jika Anda mengatur gpu menjadi 1, instans akan menggunakan seluruh GPU. Dalam kasus tersebut, bidang gpu_memory dan gpu_core_percentage akan diabaikan.
Lihat Command usage instructions. Gunakan perintah create atau modify untuk membuat layanan atau memperbarui konfigurasinya.

FAQ

Q: Mengapa saya tidak melihat opsi GPU chunking di konsol?

Periksa hal berikut:

Pastikan Anda telah memilih EAS resource group atau Lingjun resource quota untuk Resource type.
Periksa apakah kelompok sumber daya yang Anda pilih mencakup sumber daya GPU. Jika kolom GPU menunjukkan angka 0, berarti tidak tersedia sumber daya GPU.
Periksa apakah status instans GPU berada dalam kondisi running—bukan starting, stopped, atau status lainnya. Jika sumber daya sedang dalam proses inisialisasi, tunggu hingga siap sepenuhnya.