Platform For AI:AIMaster：弾性自動フォールトトレランスエンジン

ジョブのフォールトトレランスモニタリングを有効にした後、フォールトトレランスイベントの通知を受け取るには、[ワークスペース詳細] ページに移動します。[ワークスペースの設定] > [イベント通知の設定] を選択します。次に、[イベントルールの作成] をクリックし、イベントタイプを [DLC ジョブ] > [自動フォールトトレランス] に設定します。詳細については、「ワークスペースのイベントセンター」をご参照ください。

トレーニングジョブで NaN 損失などの例外が発生した場合、コード内で AIMaster SDK を使用してカスタム通知メッセージを送信できます：

from aimaster import job_monitor as jm

job_monitor_client = jm.Monitor(config=jm.PyTorchConfig())

...

if loss == Nan and rank == 0:
  st = job_monitor_client.send_custom_message(content="The training loss of the job is NaN.")
  if not st.ok():
      print('failed to send message, error %s' % st.to_string())

フォールトトレランスモニタリングには、一般的なリトライ可能なエラーに対する組み込みの検出機能があります。カスタムキーワードを定義することもできます。失敗したインスタンスのログにこれらのキーワードのいずれかが含まれている場合、AIMaster はそのエラーをリトライ可能として扱います。モニタリングモジュールは、失敗したインスタンスのログの末尾をスキャンしてこれらのキーワードを見つけます。

• PyTorch ジョブのカスタムフォールトトレランスキーワードの設定例

  from aimaster import job_monitor as jm
  
  jm_config_params = {}
  jm_config = jm.PyTorchConfig(**jm_config_params)
  monitor = jm.Monitor(config=jm_config)
  monitor.set_retryable_errors(["connect timeout", "error_yyy", "error_zzz"])

  monitor.set_retryable_errors で設定されたパラメーターが、カスタムフォールトトレランスキーワードです。

• TensorFlow ジョブのカスタムフォールトトレランスキーワードの設定例

  from aimaster import job_monitor as jm
  
  jm_config_params = {}
  jm_config = jm.TFConfig(**jm_config_params)
  monitor = jm.Monitor(config=jm_config)
  monitor.set_retryable_errors(["connect timeout", "error_yyy", "error_zzz"])

デフォルトでは、ハング検出設定はジョブ全体に適用されます。しかし、ジョブは段階的に実行されます。たとえば、初期化中にはノードが通信を確立するのに時間がかかる場合がありますが、トレーニング中にはログの更新がより頻繁になります。トレーニングプロセス中のハングをより迅速に検出するために、DLC は段階的なハング検出を提供しており、これにより異なる段階に対して異なる検出間隔を設定できます。

monitor.reset_config(jm_config_params)

# 例：
#     monitor.reset_config(job_hang_interval=10)
#     または
#     config_params = {"job_hang_interval": 10, }
#     monitor.reset_config(**config_params)

以下は、PyTorch ジョブの段階的なハング検出の例です。

import torch
import torch.distributed as dist
from aimaster import job_monitor as jm

jm_config_params = {
    "job_hang_interval": 1800 # グローバルな 30 分間の検出。
}
jm_config = jm.PyTorchConfig(**jm_config_params)
monitor = jm.Monitor(config=jm_config)

dist.init_process_group('nccl')

...

# aimaster sdk にこれらの 2 つの関数を実装
# ユーザーは自分の関数にアノテーションを追加するだけ
def reset_hang_detect(hang_seconds):
    jm_config_params = {
        "job_hang_interval": hang_seconds
    }
    monitor.reset_config(**jm_config_params)

def hang_detect(interval):
    reset_hang_detect(interval)
    ...

@hang_detect(180) # ハング検出を 3 分にリセット、関数スコープのみ
def train():
    ...

@hang_detect(-1) # ハング検出を一時的に無効化、関数スコープのみ
def test():
    ...

for epoch in range(0, 100):
    train(epoch)
    test(epoch)
    self.scheduler.step()