Platform For AI：AIMaster: Elastic automatic fault tolerance engine

Setelah mengaktifkan pemantauan toleransi kesalahan untuk suatu pekerjaan, untuk menerima notifikasi event toleransi kesalahan, buka halaman Workspace Details. Pilih Configure Workspace > Configure Event Notification. Kemudian, klik Create Event Rule dan atur tipe event ke DLC Jobs > Automatic Fault Tolerance. Untuk informasi lebih lanjut, lihat Event Center for a workspace.

Saat pekerjaan pelatihan mengalami pengecualian, seperti loss NaN, Anda dapat menggunakan AIMaster SDK dalam kode Anda untuk mengirim pesan notifikasi kustom:

from aimaster import job_monitor as jm

job_monitor_client = jm.Monitor(config=jm.PyTorchConfig())

...

if loss == Nan and rank == 0:
  st = job_monitor_client.send_custom_message(content="The training loss of the job is NaN.")
  if not st.ok():
      print('failed to send message, error %s' % st.to_string())

Pemantauan toleransi kesalahan memiliki deteksi bawaan untuk error retriable umum. Anda juga dapat menentukan kata kunci kustom. Jika log instans yang gagal berisi salah satu kata kunci ini, AIMaster memperlakukan error tersebut sebagai retriable. Modul pemantauan memindai bagian akhir log instans yang gagal untuk menemukan kata kunci ini.

• Contoh konfigurasi kata kunci toleransi kesalahan kustom untuk pekerjaan PyTorch

  from aimaster import job_monitor as jm
  
  jm_config_params = {}
  jm_config = jm.PyTorchConfig(**jm_config_params)
  monitor = jm.Monitor(config=jm_config)
  monitor.set_retryable_errors(["connect timeout", "error_yyy", "error_zzz"])

  Parameter yang dikonfigurasi di monitor.set_retryable_errors adalah kata kunci toleransi kesalahan kustom.

• Contoh konfigurasi kata kunci toleransi kesalahan kustom untuk pekerjaan TensorFlow

  from aimaster import job_monitor as jm
  
  jm_config_params = {}
  jm_config = jm.TFConfig(**jm_config_params)
  monitor = jm.Monitor(config=jm_config)
  monitor.set_retryable_errors(["connect timeout", "error_yyy", "error_zzz"])

Secara default, pengaturan pendeteksian hang berlaku untuk seluruh pekerjaan. Namun, pekerjaan berjalan dalam tahapan. Misalnya, selama inisialisasi, node mungkin memerlukan waktu lebih lama untuk membangun komunikasi, sedangkan selama pelatihan, log diperbarui lebih sering. Untuk mendeteksi hang lebih cepat selama proses pelatihan, DLC menyediakan pendeteksian hang bertahap, yang memungkinkan Anda mengonfigurasi interval deteksi berbeda untuk tahapan berbeda.

monitor.reset_config(jm_config_params)

# Contoh:
#     monitor.reset_config(job_hang_interval=10)
#     atau
#     config_params = {"job_hang_interval": 10, }
#     monitor.reset_config(**config_params)

Berikut adalah contoh pendeteksian hang bertahap untuk pekerjaan PyTorch.

import torch
import torch.distributed as dist
from aimaster import job_monitor as jm

jm_config_params = {
    "job_hang_interval": 1800 # Deteksi global 30 menit.
}
jm_config = jm.PyTorchConfig(**jm_config_params)
monitor = jm.Monitor(config=jm_config)

dist.init_process_group('nccl')

...

# impl these two funcs in aimaster sdk
# user just need to add annotations to their func
def reset_hang_detect(hang_seconds):
    jm_config_params = {
        "job_hang_interval": hang_seconds
    }
    monitor.reset_config(**jm_config_params)

def hang_detect(interval):
    reset_hang_detect(interval)
    ...

@hang_detect(180) # reset hang detect ke 3 menit, hanya untuk cakupan fungsi
def train():
    ...

@hang_detect(-1) # nonaktifkan sementara pendeteksian hang, hanya untuk cakupan fungsi
def test():
    ...

for epoch in range(0, 100):
    train(epoch)
    test(epoch)
    self.scheduler.step()