Configure GPU slicing for EAS services - Platform For AI - Alibaba Cloud Dokümantasyon Merkezi

Elastic Algorithm Service (EAS), model hizmetlerini dağıtırken hesaplama kaynaklarını daha maliyet etkin ve verimli kullanmanızı sağlayan GPU dilimleme özelliğini sunar. Bu özellik, tek bir fiziksel GPU kartının hesaplama gücünü ve GPU belleğini birden fazla hizmet örneği arasında paylaşacak şekilde böler. Böylece GPU kullanım oranı artar ve dağıtım maliyetleri düşer.

Önkoşullar

GPU dilimlemeyi yalnızca aşağıdaki önkoşulları karşılıyorsanız yapılandırabilirsiniz:

Kaynak Türü: Bir EAS kaynak grubu veya Lingjun kaynak kotası kullanın.
Örnek Durumu: Kaynak grubundaki GPU örneklerinin durumu running olmalıdır; Starting veya Stopped gibi diğer durumlarda olmamalıdır.

Not
Bir GPU örneğini ilk kez satın aldığınızda başlatma işlemi genellikle 8 ila 10 dakika sürer. İşlemlere devam etmeden önce örneğin başlatılmasını bekleyin.

Yapılandırma

Bir hizmet oluştururken veya güncellerken GPU dilimlemeyi yapılandırabilirsiniz.

Konsol

PAI console adresinde oturum açın. Sayfanın üst kısmından bir bölge seçin. Ardından ilgili çalışma alanını seçin ve Enter Elastic Algorithm Service (EAS) öğesini tıklayın.
Hizmet yapılandırma sayfasını açmak için yeni bir hizmet oluşturun veya mevcut bir hizmeti güncelleyin.

Resource Information bölümünde aşağıdaki ana parametreleri yapılandırın. Diğer parametrelerle ilgili ayrıntılar için özel dağıtım konusuna bakın.

Parametre	Açıklama
Resource Type	EAS Resource Group veya Resource Quota seçeneğini belirleyin.
GPU Slicing	GPU dilimlemeyi etkinleştirmek için bu onay kutusunu seçin. Not Bu seçenek kullanılabilir değilse bkz. GPU dilimleme seçeneği neden eksik?.
Deployment Resources	Single-GPU Memory (GB): Zorunludur. Her hizmet örneği için gereken GPU belleği miktarıdır. Değer bir tamsayı olmalıdır. Bu ayar, birden fazla örneğin tek bir GPU'yu paylaşmasına olanak tanır. Önemli ml ile başlayan kaynak teknik özellikleri için tek GPU belleği birimi GB'dir. ecs ile başlayanlar için birim GiB'dir. Computing Power per GPU (%): İsteğe bağlıdır. Her hizmet örneği için tek bir GPU'dan gereken hesaplama gücü yüzdesidir. Değer 1 ile 100 arasında bir tamsayı olmalıdır. Bu ayar, birden fazla örneğin tek bir GPU'yu paylaşmasına olanak tanır. Sistem bu ayarları mantıksal VE (AND) işlemiyle birleştirir. Örneğin, tek GPU belleğini 48 GB ve GPU hesaplama yüzdesini %10 olarak ayarlarsanız bir örnek aynı anda en fazla 48 GB GPU belleği ve hesaplama gücünün %10'unu kullanabilir.

Parametreleri yapılandırdıktan sonra Deploy veya Update öğesini tıklayın.

Yerel istemci

Aşağıdaki örnek, bir JSON yapılandırma dosyasındaki GPU dilimleme alanlarını göstermektedir:
```
{
    "metadata": {
        "gpu_core_percentage": 5,
        "gpu_memory": 20
    }
}
```
- gpu_memory: PAI konsolundaki Single-GPU Memory (GB) parametresine karşılık gelir.
- gpu_core_percentage: PAI konsolundaki Computing Power per GPU (%) parametresine karşılık gelir. Bu parametreyi belirtirseniz gpu_memory parametresini de belirtmeniz gerekir. Aksi takdirde bu parametre dikkate alınmaz.
Önemli
GPU belleği tabanlı zamanlama kullanıyorsanız gpu alanını yapılandırmayın veya 0 olarak ayarlayın. gpu alanı 1 olarak ayarlanırsa örnek tüm GPU kartını özel olarak kullanır. Bu durumda gpu_memory ve gpu_core_percentage alanları dikkate alınmaz.
Komut referansı konusuna bakın ve hizmeti oluşturmak veya güncellemek için create veya modify komutunu kullanın.

SSS

S: GPU dilimleme seçeneği neden eksik?

Sorunu gidermek için aşağıdaki adımları uygulayın:

Kaynak Türü değerinin EAS resource group veya Lingjun resource quota olarak ayarlandığından emin olun.
Seçilen kaynak grubunun GPU kaynakları içerdiğini doğrulayın (yani GPU sütunundaki değer 0 değildir).
GPU örneğinin durumunun "running" olduğunu ve "Starting" veya "Stopped" gibi diğer durumlarda olmadığını doğrulayın. Kaynak başlatılıyorsa başlatma işleminin tamamlanmasını beklemeniz gerekir.