Platform For AI：AIMaster：彈性自動容錯引擎

任務開啟容錯監控後，如果您希望容錯發生時進行通知，可以在工作空间详情，選擇工作空间配置 > 事件通知配置，然後單擊新建事件规则，並選擇事件類型為DLC任务 > 任务自动容错。具體操作，請參見工作空間事件中心。

當任務訓練出現異常時，比如loss出現Nan，可以在代碼中使用AIMaster SDK發送自訂通知訊息：

from aimaster import job_monitor as jm

job_monitor_client = jm.Monitor(config=jm.PyTorchConfig())

...

if loss == Nan and rank == 0:
  st = job_monitor_client.send_custom_message(content="任務訓練loss出現Nan")
  if not st.ok():
      print('failed to send message, error %s' % st.to_string())

容錯監控功能已內建了常見的可重試錯誤的監控模組，如果您希望任務異常執行個體日誌中出現某些關鍵字時也進行容錯，可以在代碼中使用以下方法進行配置。配置完成後，容錯監控模組會掃描失敗的執行個體尾部日誌進行關鍵資訊匹配。

• PyTorch任務自訂容錯關鍵字配置樣本

  from aimaster import job_monitor as jm
  
  jm_config_params = {}
  jm_config = jm.PyTorchConfig(**jm_config_params)
  monitor = jm.Monitor(config=jm_config)
  monitor.set_retryable_errors(["connect timeout", "error_yyy", "error_zzz"])

  其中：monitor.set_retryable_errors中配置的參數即為自訂容錯關鍵字。

• TF任務自訂容錯關鍵字配置樣本

  from aimaster import job_monitor as jm
  
  jm_config_params = {}
  jm_config = jm.TFConfig(**jm_config_params)
  monitor = jm.Monitor(config=jm_config)
  monitor.set_retryable_errors(["connect timeout", "error_yyy", "error_zzz"])

目前任務Hang異常檢測的配置是針對整個任務的，但是任務狀態是分階段的。例如：在任務初始化階段，各個節點建立通訊可能耗時比較長，但訓練階段日誌更新比較快。為了在訓練過程中能快速發現任務Hang異常的節點，DLC提供了分階段自訂任務Hang異常檢測功能，支援您在不同訓練階段配置不同的任務Hang異常檢測時間長度，具體配置方法如下。

monitor.reset_config(jm_config_params)

# Example:
#     monitor.reset_config(job_hang_interval=10)
#     or
#     config_params = {"job_hang_interval": 10, }
#     monitor.reset_config(**config_params)

PyTorch任務分階段自訂任務Hang異常檢測樣本如下。

import torch
import torch.distributed as dist
from aimaster import job_monitor as jm

jm_config_params = {
    "job_hang_interval": 1800 # 全域30min檢測。
}
jm_config = jm.PyTorchConfig(**jm_config_params)
monitor = jm.Monitor(config=jm_config)

dist.init_process_group('nccl')

...

# impl these two funcs in aimaster sdk
# user just need to add annotations to their func
def reset_hang_detect(hang_seconds):
    jm_config_params = {
        "job_hang_interval": hang_seconds
    }
    monitor.reset_config(**jm_config_params)

def hang_detect(interval):
    reset_hang_detect(interval)
    ...

@hang_detect(180) # reset hang detect to 3 min, only for func scope
def train():
    ...

@hang_detect(-1) # disable hang detect temporarily, only for func scope
def test():
    ...

for epoch in range(0, 100):
    train(epoch)
    test(epoch)
    self.scheduler.step()