Konfigurasikan GPU slicing untuk layanan EAS - Platform For AI

GPU slicing mempartisi daya komputasi dan memori GPU fisik ke beberapa instans layanan EAS, sehingga meningkatkan pemanfaatan sumber daya dan mengurangi biaya penerapan.

Prasyarat

GPU slicing memerlukan semua kondisi berikut:

Jenis resource: kelompok sumber daya EAS atau Kuota sumber daya Lingjun.
Status instans: Instans GPU dalam kelompok sumber daya harus berada dalam status running (bukan starting atau stopped).

Catatan
Provisioning GPU pertama kali memerlukan waktu 8–10 menit. Tunggu hingga instans siap sebelum melanjutkan.

Konfigurasi

Konfigurasikan GPU slicing saat membuat atau memperbarui layanan.

Console

Masuk ke PAI console. Pilih Wilayah di bagian atas halaman, lalu pilih ruang kerja yang diinginkan dan klik Elastic Algorithm Service (EAS).
Buat atau perbarui layanan untuk membuka halaman konfigurasinya.

Pada bagian Resource Information, konfigurasikan parameter berikut. Parameter lainnya didokumentasikan di custom deployment.

Parameter	Deskripsi
Resource Type	Pilih EAS Resource Group atau Resource Quota.
GPU Slicing	Aktifkan GPU slicing. Catatan Jika opsi ini tidak tersedia, periksa Mengapa opsi "GPU slicing" tidak muncul di console?.
Deployment Resources	Single-GPU Memory (GB): Wajib diisi. Memori GPU yang dialokasikan untuk setiap instans. Harus berupa bilangan bulat. Digunakan untuk penjadwalan instans. Penting Untuk spesifikasi resource `ml`, satuan memori adalah GB. Untuk spesifikasi resource `ecs`, satuan adalah GiB. Computing Power per GPU (%): Opsional. Persentase daya komputasi per instans. Bilangan bulat dari 1 hingga 100. Digunakan untuk penjadwalan instans. Kedua pengaturan ini berlaku bersamaan. Misalnya, mengatur memori menjadi 48 GB dan daya komputasi menjadi 10% membatasi setiap instans pada 48 GB memori GPU dan 10% daya komputasi.

Setelah mengonfigurasi parameter, klik Deploy atau Update.

CLI

Bidang GPU slicing dalam file konfigurasi JSON:
```
{
    "metadata": {
        "gpu_core_percentage": 5,
        "gpu_memory": 20
    }
}
```
- gpu_memory: Dipetakan ke Single-GPU Memory (GB) di console.
- gpu_core_percentage: Dipetakan ke Computing Power per GPU (%) di console. Memerlukan gpu_memory; jika tidak, akan diabaikan.
Penting
Untuk penjadwalan berbasis memori, abaikan bidang gpu atau atur nilainya menjadi 0. Mengatur gpu menjadi 1 akan mengalokasikan seluruh GPU secara eksklusif, sehingga bidang gpu_memory dan gpu_core_percentage diabaikan.
Gunakan perintah create atau modify dari command reference untuk menerapkan atau memperbarui layanan.

FAQ

Q: Mengapa opsi GPU slicing tidak muncul?

Lakukan pemecahan masalah sebagai berikut:

Verifikasi bahwa Resource Type diatur ke EAS Resource Group atau Lingjun Resource Quota.
Verifikasi bahwa kelompok sumber daya memiliki resource GPU (nilai kolom GPU > 0).
Konfirmasi bahwa instans GPU berada dalam status running dan bukan dalam status lain seperti starting atau stopped. Jika sedang dalam proses inisialisasi, tunggu hingga siap.