Platform For AI:Gunakan resource idle-time untuk pekerjaan DLC

Cara kerja

Di platform PAI, tim yang berbeda mengirimkan pekerjaan pelatihan melalui kuota masing-masing. Beberapa kuota tidak digunakan selama periode tertentu, sementara tim lain mengantri untuk mendapatkan resource. Resource idle-time mengatasi masalah ini dengan memungkinkan pekerjaan DLC menggunakan kapasitas cadangan dari kuota lain.

Cara kerja resource idle-time:

• Pekerjaan idle-time yang dikirimkan ke kuota komputasi tujuan umum dapat menggunakan resource cadangan dalam kuota tersebut. Pekerjaan idle-time yang dikirimkan ke kuota komputasi AI Lingjun dapat menggunakan resource cadangan dengan spesifikasi yang sama di seluruh kuota dalam satu tenant yang sama.

• Pekerjaan idle-time tidak dibatasi oleh total kapasitas resource dari kuota terkait. Pekerjaan tersebut dapat menggunakan resource cadangan dari kuota saat ini atau kuota lainnya.

• Ketika kuota asli menarik kembali resource-nya untuk pekerjaan terjadwal, pekerjaan idle-time akan secara otomatis dihentikan dan resource-nya dilepaskan.

• Saat digunakan bersama AIMaster dan EasyCKPT, pekerjaan idle-time dapat secara otomatis menyimpan progres dan melanjutkan setelah preemption, sehingga menghindari pemborosan komputasi.

Prasyarat

Kuota resource prabayar (komputasi tujuan umum atau komputasi AI Lingjun) yang terikat pada ruang kerja. Untuk informasi lebih lanjut, lihat Ikhtisar.

Kirim pekerjaan DLC dengan resource idle-time

1. Saat Anda mengirimkan pekerjaan pelatihan DLC di Konsol, konfigurasikan Idle Resources setelah memilih kuota resource untuk Lingjun Intelligent Computing Resources atau General-purpose computing resources di bagian Resource Information. Tabel berikut menjelaskan parameter utama. Untuk informasi lebih lanjut, lihat Buat pekerjaan pelatihan.

   Parameter	Deskripsi
   Resource Type	Pilih General-purpose computing resources atau Lingjun Intelligent Computing Resources. Catatan Resource Lingjun Intelligent Computing Resources dirancang untuk pelatihan AI berkinerja-tinggi.
   Source	Pilih Resource Quota.
   Idle Resources	Nilai yang valid: Acceptable: Pekerjaan dapat menggunakan resource idle-time dari semua kuota dalam tenant tersebut, atau menggunakan kuota yang dipilih, mana pun yang lebih dulu tersedia. Only Idle Resources: Pekerjaan hanya menggunakan resource idle-time. Pekerjaan yang berjalan di resource idle-time dapat terganggu ketika resource ditarik kembali. Pastikan kode Anda mencakup mekanisme checkpoint agar pekerjaan dapat dilanjutkan setelah preemption. Untuk informasi lebih lanjut, lihat EasyCkpt. Jika Anda memilih Acceptable dan pekerjaan mulai menggunakan resource komputasi milik kuota yang dipilih, pekerjaan tersebut berjalan sebagai pekerjaan terjamin biasa dan tidak tunduk pada preemption.
   Automatic Fault Tolerance	Pekerjaan idle-time dapat mengalami preemption. Aktifkan Automatic Fault Tolerance agar sistem secara otomatis menemukan resource baru dan menjalankan ulang pekerjaan ketika resource ditarik kembali. Untuk detail konfigurasi, lihat AIMaster: An elastic and automatic fault tolerance engine. Aktifkan sakelar Auto Fault Tolerance dan klik Modify Configuration untuk membuka panel konfigurasi di sebelah kanan. Konfigurasikan parameter berikut: Run Type: Pilih Synchronous Task atau Asynchronous Task. Maximum Job Restart Count: Misalnya, atur ke 3. Job Hang Detection: Aktifkan atau nonaktifkan sesuai kebutuhan. Fault Tolerance Policy: Pilih kebijakan seperti ExitCodeAndErrorMsg. Other Configurations: Konfigurasikan sesuai kebutuhan.

2. Lihat detail penggunaan resource dari pekerjaan DLC.

   • Di daftar pekerjaan atau halaman detail pekerjaan, periksa penggunaan resource.

     Di kolom Real-time Resources pada daftar pekerjaan, lihat status penggunaan resource, yang menampilkan In Quota atau Not in Quota.

     • In Quota: Pekerjaan menggunakan resource dari kuota terkait.

     • Not in Quota: Pekerjaan menggunakan resource idle-time yang dibagikan.

   • Saat pekerjaan idle-time berjalan di resource yang dibagikan, nama node tidak ditampilkan.

   • Ketika resource idle-time yang digunakan oleh pekerjaan mengalami preemption, status instans (Pod) di halaman detail pekerjaan ditandai sebagai Resource Preempted.

     Ketika kuota peminjam perlu menjadwalkan pekerjaan baru tetapi kekurangan resource yang cukup, sistem menarik kembali resource idle-time untuk memprioritaskan pekerjaan tersebut. Sistem kemudian menandai status instans sebagai preempted.

Referensi

Pekerjaan idle-time dapat mengalami preemption. Aktifkan AIMaster: An elastic and automatic fault tolerance engine untuk secara otomatis melanjutkan pekerjaan setelah preemption. Gunakan EasyCkpt untuk meminimalkan kehilangan progres pelatihan ketika pekerjaan mengalami preemption.