Platform For AI:Inférence distribuée multi-nœuds

Unité d'instance

L'inférence distribuée introduit des unités d'instance (appelées Unit dans cette rubrique). Les instances au sein d'une unité utilisent des stratégies de communication réseau haute performance et de parallélisme, telles que le parallélisme tensoriel (TP) et le parallélisme de pipeline (PP), pour traiter chaque requête. Les instances d'une unité conservent un état (stateful). Les unités sont entièrement symétriques et sans état (stateless) les unes par rapport aux autres.

ID d'instance

Chaque instance d'une unité reçoit un ID d'instance séquentiel via une variable d'environnement. Pour la liste des variables d'environnement, consultez la section Annexe. Utilisez ces ID pour attribuer différentes tâches aux instances.

Gestion du trafic

Par défaut, chaque unité gère le trafic uniquement via l'instance 0 (RANK_ID = 0). Le système achemine le trafic utilisateur vers l'instance 0 de chaque unité à l'aide de la découverte de service. Chaque unité traite les requêtes de manière distribuée et gère le trafic de façon indépendante.

Mises à jour progressives

Lors d'une mise à jour progressive, une unité est reconstruite dans son ensemble. Toutes les instances de la nouvelle unité démarrent en parallèle. Une fois toutes les nouvelles instances prêtes, le système retire le trafic de l'ancienne unité et supprime ses instances.

Cycle de vie

Tolérance aux pannes distribuée

• Gestion des défaillances d'instance

  • Lorsque le système détecte une défaillance sur n'importe quelle instance d'un service distribué, il redémarre automatiquement toutes les instances de l'unité.

  • Cela empêche l'incohérence de l'état du cluster causée par des pannes ponctuelles et garantit que toutes les instances démarrent avec un environnement propre et cohérent.

• Récupération coordonnée

  • Après le redémarrage des instances, le système attend que toutes les instances de l'unité atteignent un état prêt cohérent à l'aide d'une barrière de synchronisation. Les processus métier ne démarrent qu'une fois toutes les instances prêtes.

  • Cette approche répond aux objectifs suivants :

    • Elle prévient les échecs des groupes de communication NCCL causés par des états d'instance incohérents.

    • Elle garantit une synchronisation stricte au démarrage sur tous les nœuds d'une tâche d'inférence distribuée.

La tolérance aux pannes distribuée est désactivée par défaut. Pour l'activer, définissez le paramètre unit.guard comme indiqué dans l'exemple suivant :

{
  "unit": {
    "size": 2,
    "guard": true
  }
}