Eğitim ve çıkarım iş yüklerinin birlikte çalıştırılması, çıkarım hizmetleri ile eğitim işlerini aynı GPU kümesinde yürütmenizi sağlar. Üst-alt kaynak kotası öncelikli kullanım (preemption) mekanizması sayesinde çıkarım hizmetleri, eğitim kaynaklarını otomatik olarak devralır. EAS (Elastic Algorithm Service) zamanlanmış otomatik ölçeklendirme ve DLC (Deep Learning Containers) boşta hesaplama kaynakları özellikleriyle entegre edildiğinde, küme gündüzleri çıkarım işlemlerine öncelik verirken geceleri eğitim işlerini çalıştırır ve GPU'ların tam kapasiteyle kullanılmasını sağlar.
Arka plan
Örnek senaryo
128 GPU'lu bir kümenin üç farklı ekip tarafından paylaşıldığı bir durumu ele alalım:
A Ekibi, çıkarım hizmetlerini çalıştırır ve en yüksek kaynak önceliğine sahiptir.
B ve C Ekipleri model eğitimi yapar; bu işlerin önceliği çıkarım hizmetlerinden daha düşüktür.
A Ekibinin daha fazla çıkarım kaynağına ihtiyacı olduğunda, sistem B ve C Ekiplerinin eğitim kaynaklarını otomatik olarak geri alır.
Gündüz saatlerinde EAS, artan çıkarım trafiğini karşılamak için ölçeği yukarı yönlü genişletir. Gece saatlerinde ise EAS ölçeği aşağı yönlü daraltarak GPU'ları serbest bırakır ve eğitim işleri otomatik olarak başlar.
B ve C Ekipleri, birbirlerinin işlerini etkilemeden kendi kaynaklarını ve işlerini bağımsız olarak yönetir.
Çalışma prensibi
EAS çıkarım hizmetleri üst kotaya, DLC eğitim işleri ise alt kotalara dağıtılır. Çıkarım hizmetlerinin ek kaynağa ihtiyaç duyması durumunda, sistem eğitim hesaplamalarını otomatik olarak öncelikli şekilde devralır. EAS'in zamanlanmış otomatik ölçeklendirme özelliği (gündüz ölçeği büyütme, gece ölçeği küçültme) ve DLC'nin boşta hesaplama kaynaklarını kullanma özelliği (gece kalan kaynaklarla eğitim yapma) birleştiğinde, herhangi bir manuel müdahaleye gerek kalmaz.
Bu senaryoyu uygulamak için aşağıdaki adımları izleyin:
128 GPU içeren Kota 1'i oluşturun ve child-level compute preemption anahtarını etkinleştirin. Kota 1 altında iki alt kota oluşturun: Kota 1.1 (48 GPU) ve Kota 1.2 (80 GPU).
A Ekibi için workspace_a adlı çalışma alanını oluşturun ve bunu Kota 1'e bağlayın. EAS çıkarım hizmetlerini Kota 1 üzerinde dağıtın ve zamanlanmış otomatik ölçeklendirmeyi yapılandırın.
B Ekibi için workspace_b adlı çalışma alanını oluşturun ve bunu Kota 1.1'e bağlayın. Kota 1.1 üzerinde boşta hesaplama kaynakları etkinleştirilmiş DLC eğitim işleri oluşturun.
C Ekibi için workspace_c adlı çalışma alanını oluşturun ve bunu Kota 1.2'ye bağlayın. Geliştirme amaçlı kullanmak üzere Kota 1.2 üzerinde DSW (Data Science Workshop) örnekleri oluşturun.
Yordam
AI hesaplama kaynaklarını hazırlayın (genel amaçlı hesaplama kaynakları veya Lingjun AI hesaplama kaynakları). Genel amaçlı kaynak havuzlarının EAS, DLC ve DSW hizmetlerini aynı anda desteklemesi için sürüm 2,0 olması gerekir. Daha fazla bilgi için bkz. Kaynak havuzu.
-
Add Resource Quota seçeneğini tıklayın.
-
Aşağıdaki temel parametrelerle Kota 1'i oluşturun. Daha fazla bilgi için bkz. Kaynak kotası oluşturma veya Genel hesaplama kaynakları kotaları.
resources (128 GPU) seçin.
Child-level Preemption anahtarını etkinleştirin. Bu seçenek etkinleştirildiğinde, üst kotadaki EAS çıkarım hizmetleri alt kotalardaki eğitim kaynaklarını öncelikli olarak devralabilir.
-
Kota 1'in Actions sütununda New Child-level Resource Quota seçeneğini tıklayarak iki alt kota oluşturun. Daha fazla bilgi için bkz. Üst-alt kota oluşturma.
Kota 1.1: 48 GPU.
Kota 1.2: 80 GPU.
-
-
Üç çalışma alanı oluşturun ve her birini ilgili kotaya bağlayın. Daha fazla bilgi için bkz. Çalışma alanı oluşturma ve yönetme.
A Ekibi: workspace_a, Kota 1'e bağlı.
B Ekibi: workspace_b, Kota 1.1'e bağlı.
C Ekibi: workspace_c, Kota 1.2'ye bağlı.
-
Kota 1 üzerinde bir EAS çıkarım hizmeti oluşturun ve zamanlanmış otomatik ölçeklendirmeyi yapılandırın. Daha fazla bilgi için bkz. Hizmet Dağıtımı.
Zamanlanmış otomatik ölçeklendirme kurallarını aşağıdaki gibi yapılandırın:
Gündüz çıkarım trafiğini karşılamak için saat 08:00'de hedef çoğaltma sayısına kadar ölçeği yukarı yönlü genişletin.
Eğitim işleri için GPU'ları serbest bırakmak amacıyla saat 22:00'de ölçeği sıfıra veya minimum çoğaltma sayısına kadar aşağı yönlü daraltın.
Ayrıntılı yapılandırma için bkz. Zamanlanmış otomatik ölçeklendirme.
-
Bir alt kota üzerinde DLC eğitim işleri veya DSW örnekleri oluşturun ve boşta hesaplama kaynaklarını etkinleştirin. Daha fazla bilgi için bkz. Eğitim işi oluşturma.
Boşta hesaplama kaynaklarını etkinleştirdiğinizde, eğitim işleri kota sınırının ötesindeki boşta kalan hesaplama kaynaklarını kullanabilir. EAS tarafından geceleri serbest bırakılan GPU'lar, eğitim işlerine otomatik olarak atanır.
Ayrıntılı yapılandırma için bkz. Boşta kalan kaynakları kullanma.
A, B ve C Ekiplerine çalışma alanı yöneticisi izinleri verin. Çalışma alanı yapılandırması hakkında daha fazla bilgi için bkz. Çalışma alanı yapılandırma. Rol tanımları için bkz. Roller ve izinler.
Kullanım durumları
Eğitim kaynaklarını çıkarım için öncelikli kullanma
Resource Quota sayfasında Kota 1'i tıklayın ve Overview sekmesinde Child-level compute preemption anahtarını etkinleştirin.
A Ekibinin çıkarım hizmeti mevcut olanlardan daha fazla kaynağa ihtiyaç duyduğunda, sistem B ve C Ekiplerinin eğitim kaynaklarını otomatik olarak geri alır.
B ve C Ekipleri arasında kaynakları yeniden dağıtma
Ekip gereksinimlerine göre Kota 1.1 ve Kota 1.2'nin kaynaklarını ayarlayın. Resource Quota sayfasında Kota 1.1 veya Kota 1.2'yi bulun ve Actions sütunundaki Scale seçeneğini tıklayın. Daha fazla bilgi için bkz. Kotaları ölçeklendirme.
Kota 1.1'i 48 GPU'dan 56 GPU'ya ölçeklendirin (8 GPU ekleyin).
Kota 1.2'yi 80 GPU'dan 72 GPU'ya ölçeklendirin (8 GPU kaldırın).
B ve C Ekipleri arasında izinleri yalıtma
Kota 1.1 workspace_b'ye, Kota 1.2 ise workspace_c'ye bağlıdır. B ve C Ekipleri, kendi çalışma alanları içinde kaynaklarını ve işlerini bağımsız olarak yönetir. Daha fazla bilgi için bkz. Çalışma alanı zamanlama merkezi.
Kaynak kullanım rollerini yapılandırmak için: Workspace Settings sayfasında Scheduling Configuration sekmesini tıklayın. Resource Usage bölümünde hedef kota için Roles seçeneğini belirleyin, bir yapılandırma girişi eklemek için + Add seçeneğini tıklayın ve ardından Save seçeneğini tıklayın.