Mengonfigurasi fitur GPU slicing untuk layanan EAS - Platform For AI

Untuk menerapkan layanan model secara lebih hemat biaya, Elastic Algorithm Service (EAS) menyediakan fitur GPU slicing. Fitur ini mempartisi daya komputasi dan memori GPU fisik, lalu membaginya di antara instans layanan guna meningkatkan pemanfaatan GPU dan mengurangi biaya penerapan.

Prasyarat

GPU slicing memerlukan kelompok sumber daya EAS atau sumber daya komputasi cerdas Lingjun.

Konfigurasi GPU slicing

Anda dapat mengonfigurasi GPU slicing melalui konsol PAI atau klien eascmd saat membuat atau memperbarui layanan.

Menggunakan konsol

Masuk ke konsol PAI. Pilih Wilayah di bagian atas halaman, lalu pilih ruang kerja yang diinginkan dan klik Elastic Algorithm Service (EAS).
Buat layanan baru atau perbarui layanan yang sudah ada untuk membuka halaman konfigurasi layanan.

Pada bagian Resource Information, konfigurasikan parameter utama berikut. Untuk informasi selengkapnya mengenai parameter lainnya, lihat Penerapan kustom.

Parameter	Deskripsi
Resource Type	Pilih EAS Resource Group atau Resource Quota.
GPU Slicing	Pilih kotak centang ini untuk mengaktifkan GPU slicing. Catatan Opsi GPU Slicing hanya muncul ketika Anda memilih kelompok sumber daya khusus EAS, kelompok sumber daya virtual, atau sumber daya Lingjun.
Deployment Resources	Memori GPU Tunggal (GB): Wajib diisi. Memori GPU yang dibutuhkan per instans pada satu GPU, ditentukan sebagai bilangan bulat. Sistem mendukung penjadwalan instans berbasis memori, sehingga memungkinkan instans berbagi satu GPU. Penting Untuk spesifikasi sumber daya yang diawali dengan `ml`, satuannya adalah GB. Untuk spesifikasi yang diawali dengan `ecs`, satuannya adalah GiB. Daya Komputasi per GPU (%): Opsional. Persentase daya komputasi GPU yang dibutuhkan setiap instans pada satu GPU, ditentukan sebagai bilangan bulat dari 1 hingga 100. Sistem mendukung penjadwalan instans berbasis daya komputasi, sehingga memungkinkan instans berbagi satu GPU. Sistem hanya mengalokasikan sumber daya ketika kedua persyaratan Single-GPU Memory (GB) dan Computing Power per GPU (%) terpenuhi. Misalnya, jika Anda menetapkan memori GPU sebesar 48 GB dan persentase daya komputasi sebesar 10%, sebuah instans dapat menggunakan maksimal 48 GB memori GPU dan 10% daya komputasi.

Setelah mengonfigurasi parameter, klik Deploy atau Update.

Menggunakan klien lokal

Contoh JSON berikut menunjukkan konfigurasi untuk GPU slicing:
```
{
    "metadata": {
        "gpu_core_percentage": 5,
        "gpu_memory": 20
    }
}
```
- gpu_memory: Sesuai dengan Single-GPU Memory (GB) di konsol.
- gpu_core_percentage: Sesuai dengan Computing Power per GPU (%) di konsol PAI. Untuk menggunakan parameter gpu_core_percentage, Anda juga harus menentukan parameter gpu_memory. Jika tidak, parameter ini akan diabaikan.
Penting
Untuk menggunakan penjadwalan berbasis memori, biarkan bidang gpu tidak diatur atau atur nilainya menjadi 0. Jika bidang gpu diatur ke 1, instans akan menggunakan seluruh kartu GPU secara eksklusif, sehingga bidang gpu_memory dan gpu_core_percentage akan diabaikan.
Untuk informasi selengkapnya, lihat Referensi perintah. Gunakan perintah create atau modify untuk membuat layanan atau memperbarui konfigurasinya.