PAI garantit la sécurité et la fiabilité des charges de travail d’IA grâce à l’isolation des zones, la tolérance aux pannes automatique, les vérifications de l’état de la puissance de calcul et la surveillance de l’infrastructure.
Isolation des pannes inter-zones
Une zone est une zone physique au sein d’une région, dotée d’une alimentation électrique et d’un réseau indépendants.
Les zones d’une même région sont connectées par des réseaux internes à faible latence. PAI isole les pannes entre les zones : une défaillance dans l’une n’affecte pas les autres. Chaque région est indépendante et les zones situées dans différentes régions sont isolées.
Tolérance aux pannes automatique et élastique
PAI assure la tolérance aux pannes via AIMaster, un composant au niveau des tâches. Lorsque cette fonction est activée pour une tâche, une instance AIMaster démarre et s’exécute parallèlement aux autres instances de tâche pour surveiller l’exécution, détecter les pannes et gérer les ressources. Pour plus d’informations, consultez AIMaster : Le moteur de tolérance aux pannes automatique et élastique.
Vérification de l’état de la puissance de calcul
DLC propose des tests de base pour vérifier l’état et les performances des ressources de calcul dédiées aux tâches d’entraînement distribué. Activez les tests de base lors de la création d’une tâche d’entraînement DLC. Ces tests inspectent toutes les ressources d’entraînement, isolent automatiquement les nœuds défectueux et déclenchent des processus automatisés d’exploitation et de maintenance en arrière-plan, ce qui réduit les échecs précoces et améliore les taux de réussite de l’entraînement. À l’issue du processus, le système génère un rapport sur la puissance de calcul GPU et les performances de communication, afin d’identifier et de localiser les éléments dégradant les performances et d’améliorer l’efficacité du diagnostic des problèmes. Pour des instructions détaillées, consultez SanityCheck : Vérification de l’état de la puissance de calcul.
Surveillance de l’infrastructure
PAI s’intègre à Cloud Monitor pour concevoir et renforcer les systèmes de défense en matière de sécurité. Rubriques connexes :
Surveillance de l’inférence des modèles (EAS) : Consultez les événements Cloud Monitor EAS.