Elastic training with Horovod
Horovod adalah alat open source untuk distributed training yang mendukung elastic training di Kubernetes. Dokumen ini menjelaskan cara menggabungkan fitur distributed training Horovod dengan kemampuan elastic scaling Kubernetes guna mengoptimalkan efisiensi pelatihan model. Anda dapat mengonfigurasi kebijakan distributed training Horovod untuk mendistribusikan training job ke beberapa compute node, sehingga meningkatkan kecepatan pelatihan dan pemanfaatan sumber daya. Dokumen ini juga menyediakan skenario spesifik serta praktik terbaik penggunaan Horovod di Kubernetes untuk membantu Anda mengelola dan menjadwalkan distributed training job secara lebih efisien. Untuk informasi selengkapnya, lihat Elastic training with Horovod on Kubernetes.
Elastic training with spot instances
Dokumen ini menjelaskan cara menggunakan spot instance Kubernetes untuk elastic training. Spot instance merupakan sumber daya komputasi yang dapat ditarik kembali sesuai permintaan dan cocok untuk training job yang sensitif terhadap biaya serta memiliki toleransi tinggi terhadap gangguan. Anda dapat mengonfigurasi kebijakan elastic training agar secara otomatis memulai ulang atau menjadwalkan ulang training job ketika sumber daya dipreempt. Hal ini menjamin kelangsungan dan efisiensi proses pelatihan. Mekanisme elastic training yang memanfaatkan spot instance dapat secara signifikan mengurangi biaya pelatihan serta memaksimalkan pemanfaatan sumber daya menganggur.
Revocation awareness for ACS BestEffort pods on ACK
Di Kubernetes, Pod kelas BestEffort biasanya digunakan untuk job dengan kebutuhan sumber daya rendah. Namun, di lingkungan dengan persaingan sumber daya yang ketat, Pod tersebut dapat dipreempt atau dihentikan dengan prioritas tinggi. Dokumen ini menjelaskan cara menerapkan revocation awareness untuk Pod BestEffort di ACK. Fitur ini memastikan bahwa setelah sebuah Pod dipreempt dan sumber dayanya dilepas, Pod tersebut akan secara otomatis dimulai ulang atau dijadwalkan ulang. Mekanisme ini meningkatkan stabilitas sistem dan pemanfaatan sumber daya, sekaligus menjamin penyelesaian job secara sukses.
Summary
Elastic training with Horovod: Gabungkan Horovod dan Kubernetes untuk mencapai penjadwalan elastis dan optimalisasi sumber daya pada distributed training job.
Elastic training with spot instances: Gunakan spot instance Kubernetes untuk elastic training guna mengurangi biaya dan meningkatkan pemanfaatan sumber daya.
Revocation awareness for BestEffort pods: Terapkan pemulihan otomatis untuk Pod BestEffort di ACK guna menjamin kelangsungan job.
Fitur dan praktik ini membantu Anda mengelola serta mengoptimalkan distributed training job di lingkungan Kubernetes secara lebih efisien, sekaligus mengurangi biaya operasional serta meningkatkan stabilitas sistem dan pemanfaatan sumber daya.