Platform For AI:マルチノード分散推論

インスタンスユニット

標準的な EAS 推論サービスと比較して、分散推論ではインスタンスユニット (このトピックではユニットと呼びます) という概念が導入されています。ユニット内のインスタンスは、高性能ネットワーク通信と、テンソル並列処理 (TP) やパイプライン並列処理 (PP) などのパターンを使用して連携し、各リクエストを処理します。ユニット内のインスタンスはステートフルです。各ユニットは互いに完全に対称であり、ステートレスです。

インスタンス ID

ユニット内の各インスタンスは、環境変数を通じてインスタンス ID を受け取ります。ユニットで使用される環境変数とその説明のリストについては、「付録」をご参照ください。インスタンスにはシーケンシャル ID が割り当てられます。これらの ID を使用して、異なるインスタンスに異なるタスクを割り当てます。

トラフィック処理

デフォルトでは、各ユニットはインスタンス 0 (RANK_ID = 0) を通じてのみトラフィックを処理します。システムはサービスディスカバリを使用して、ユーザーのトラフィックを異なるユニットのインスタンス 0 にルーティングします。その後、各ユニットは内部で分散的にリクエストを処理します。各ユニットは互いに干渉することなく、独立してトラフィックを処理します。

ローリングアップデート

ローリングアップデート中、ユニットは全体として再構築されます。新しいユニット内のすべてのインスタンスは並行して起動します。新しいユニット内のすべてのインスタンスの準備が整うと、システムは古いユニットからトラフィックを削除し、その後、そのすべてのインスタンスを削除します。

ライフサイクル

分散フォールトトレランス

• インスタンス障害の処理

  • システムが分散サービスのいずれかのインスタンスで障害を検出すると、そのユニット内のすべてのインスタンスが自動的に再起動されます。

  • 目的：単一障害点によるクラスター状態の不整合を防ぎ、すべてのインスタンスがクリーンで一貫性のある環境で起動することを保証します。

• 協調回復

  • インスタンスが再起動した後、システムは同期バリアを使用して、ユニット内のすべてのインスタンスが一貫した準備完了状態に達するのを待ちます。すべてのインスタンスの準備が整ってから、システムはビジネスプロセスを開始します。

  • 目的：

    • インスタンスの状態の不整合が原因で NCCL が通信グループを形成する際の障害を防ぎます。

    • 分散推論タスクに関与するすべてのノード間で厳密な起動同期を保証します。

分散フォールトトレランスはデフォルトで無効になっています。有効にするには、`unit.guard` パラメーターを設定します。設定例：

{
  "unit": {
    "size": 2,
    "guard": true
  }
}