Platform For AI:Use idle-time resources for DLC jobs

Nasıl çalışır?

PAI platformunda farklı ekipler kendi kotaları üzerinden eğitim işlerini gönderir. Bazı kotalar belirli dönemlerde boşta kalırken diğer ekipler kaynak için sırada bekler. Boşta kalan kaynaklar, DLC işlerinin diğer kotalardaki arta kalan kapasiteyi kullanmasına izin vererek bu sorunu çözer.

Boşta kalan kaynakların çalışma mantığı:

• Genel amaçlı bilgi işlem kotasına gönderilen boşta kalan kaynak işleri, o kotadaki arta kalan kaynakları kullanabilir. Lingjun akıllı bilgi işlem kotasına gönderilen boşta kalan kaynak işleri ise aynı kiracı altındaki tüm kotalarda aynı teknik özelliklere sahip arta kalan kaynakları kullanabilir.

• Boşta kalan kaynak işleri, ilişkili kotanın toplam kaynak kapasitesiyle sınırlı değildir. Mevcut kotadan veya diğer kotalardan arta kalan kaynakları kullanabilirler.

• Orijinal kota zamanlanmış işler için kaynaklarını geri aldığında, boşta kalan kaynak işleri otomatik olarak sonlandırılır ve kaynaklar serbest bırakılır.

• AIMaster ve EasyCKPT ile birlikte kullanıldığında, boşta kalan kaynak işleri ilerlemeyi otomatik olarak kaydedebilir ve önceliklendirme sonrası kaldığı yerden devam edebilir. Bu sayede hesaplama israfı önlenir.

Ön koşullar

Bir çalışma alanına bağlı ön ödemeli bir kaynak kotası (genel amaçlı bilgi işlem veya Lingjun akıllı bilgi işlem). Daha fazla bilgi için bkz. Overview.

Boşta kalan kaynaklarla bir DLC işi gönderin

1. Konsolda bir DLC eğitim işi gönderirken, Resource Information bölümünde Lingjun Intelligent Computing Resources veya General-purpose computing resources için bir kaynak kotası seçtikten sonra Idle Resources öğesini yapılandırın. Aşağıdaki tabloda temel parametreler açıklanmaktadır. Daha fazla bilgi için bkz. Create a training job.

   Parameter	Description
   Resource Type	General-purpose computing resources veya Lingjun Intelligent Computing Resources seçin. Not Lingjun Intelligent Computing Resources kaynakları yüksek performanslı AI eğitimi için tasarlanmıştır.
   Source	Resource Quota seçeneğini belirleyin.
   Idle Resources	Geçerli değerler: Acceptable: İş, kiracı altındaki tüm kotalardan boşta kalan kaynakları kullanabilir veya önce sıradan çıkan seçili kotayı kullanabilir. Only Idle Resources: İş yalnızca boşta kalan kaynakları kullanır. Boşta kalan kaynaklarda çalışan işler, kaynaklar geri alındığında kesintiye uğrayabilir. İşinizin önceliklendirme sonrası kaldığı yerden devam edebilmesi için kodunuzda bir kontrol noktası mekanizması bulunduğundan emin olun. Daha fazla bilgi için bkz. EasyCkpt. Acceptable seçeneğini belirlerseniz ve iş seçili kotanın kendi hesaplama kaynaklarını kullanmaya başlarsa, iş düzenli bir garantili iş olarak çalışır ve önceliklendirmeye tabi olmaz.
   Automatic Fault Tolerance	Boşta kalan kaynak işleri önceliklendirilebilir. Kaynaklar geri alındığında sistemin otomatik olarak yeni kaynaklar bulup işi yeniden çalıştırması için Automatic Fault Tolerance özelliğini etkinleştirin. Yapılandırma ayrıntıları için bkz. AIMaster: An elastic and automatic fault tolerance engine. Auto Fault Tolerance anahtarını açın ve sağ taraftaki yapılandırma panelini açmak için Modify Configuration düğmesine tıklayın. Aşağıdaki parametreleri yapılandırın: Run Type: Synchronous Job veya Asynchronous Job seçin. Maximum Job Restarts: Örneğin, 3 olarak ayarlayın. Hang Detection: İhtiyaca göre etkinleştirin veya devre dışı bırakın. Fault Tolerance Policy: ExitCodeAndErrorMsg gibi bir ilke seçin. Other Configurations: İhtiyaca göre yapılandırın.

2. DLC işinin kaynak kullanım ayrıntılarını görüntüleyin.

   • İş listesinde veya iş ayrıntıları sayfasında kaynak kullanımını kontrol edin.

     İş listesinin Idle Resources sütununda, In Quota veya Not in Quota değerlerini gösteren kaynak kullanım durumunu görüntüleyin.

     • In Quota: İş, ilişkili kotasındaki kaynakları kullanır.

     • Not in Quota: İş, boşta kalan paylaşılan kaynakları kullanır.

   • Bir boşta kalan kaynak işi paylaşılan kaynaklarda çalıştığında düğüm adı görüntülenmez.

   • Bir iş tarafından kullanılan boşta kalan kaynaklar önceliklendirildiğinde, iş ayrıntıları sayfasındaki örnek (pod) durumu Resource Preempted olarak işaretlenir.

     Ödünç veren kotanın yeni bir iş zamanlaması gerektiğinde ancak yeterli kaynağa sahip olmadığında sistem, bu işe öncelik vermek için boşta kalan kaynakları geri alır. Sistem daha sonra örnek durumunu önceliklendirilmiş olarak işaretler.

İlgili bilgiler

Boşta kalan kaynak işleri önceliklendirilebilir. İşlerin önceliklendirme sonrasında otomatik olarak devam etmesini sağlamak için AIMaster: An elastic and automatic fault tolerance engine özelliğini etkinleştirin. İşler önceliklendirildiğinde eğitim ilerlemesindeki kaybı en aza indirmek için EasyCkpt kullanın.