Container Service for Kubernetes:Scheduling overview

Politique

Description

Scénario

nodeSelector

Attribuez des paires clé-valeur aux nœuds, puis utilisez nodeSelector pour diriger les pods vers les nœuds correspondants.

Par exemple, planifier des pods sur des nœuds spécifiques ou planifier des pods sur un pool de nœuds spécifique.

Méthode de sélection de nœud basique qui ne prend pas en charge des fonctionnalités d'ordonnancement plus complexes, telles que les règles d'ordonnancement souple.

nodeAffinity

Plus flexible et plus granulaire que nodeSelector. Par exemple, la règle d'ordonnancement strict requiredDuringSchedulingIgnoredDuringExecution et la règle d'ordonnancement souple preferredDuringSchedulingIgnoredDuringExecution.

Dirigez les pods vers des nœuds présentant des caractéristiques spécifiques, comme des régions, des types de périphériques ou du matériel. Les règles d'anti-affinité répartissent les pods sur différents nœuds.

Taints et tolérations

Un taint se compose d'une clé, d'une valeur et d'un effet (effets courants : NoSchedule, PreferNoSchedule, NoExecute). Seuls les pods disposant d'une tolération correspondante sont planifiés sur les nœuds affectés par un taint.

• Réservez des ressources de nœud dédiées à des applications spécifiques, par exemple des nœuds accélérés par GPU pour les charges de travail d'IA ou de ML.

• Ajoutez des taints ou des libellés aux pools de nœuds pour orienter les pods d'application vers des pools spécifiques. Consultez Créer et gérer des pools de nœuds et Modifier un pool de nœuds.

• Évincer des pods en fonction des taints et des tolérations. Par exemple, ajoutez un taint à un nœud défectueux et définissez l'effet sur NoExecute.

Affinité et anti-affinité inter-pods

Les libellés des pods déterminent l'ordonnancement pod-vers-nœud. Prend en charge la règle d'affinité requiredDuringSchedulingIgnoredDuringExecution et la règle d'anti-affinité preferredDuringSchedulingIgnoredDuringExecution.

• Colocalisez les pods collaboratifs sur le même nœud ou sur des nœuds voisins pour réduire la latence réseau.

• Répartissez les pods d'applications critiques sur différents nœuds ou domaines de panne.

Politique

Description

Scénario

Référence

Ordonnancement des ressources basé sur une priorité personnalisée

Spécifiez une valeur ResourcePolicy personnalisée lors des versions ou de la mise à l'échelle pour définir l'ordre de sélection des ressources de nœud. Par exemple, privilégiez les instances ECS sous abonnement, puis les instances ECS au paiement à l'utilisation, et enfin les instances de conteneur élastiques.

La mise à l'échelle descendante inverse cet ordre : d'abord les instances de conteneur élastiques, puis les instances ECS au paiement à l'utilisation, et enfin les instances ECS sous abonnement.

• Définissez les nœuds privilégiés ou à éviter pour équilibrer l'utilisation des ressources du cluster.

• Les pods d'applications haute performance sont prioritairement attribués aux nœuds haute performance.

• Les pods non critiques en termes de performance sont prioritairement attribués aux instances préemptibles ou aux nœuds disposant de ressources inactives, ce qui permet de réduire les coûts.

Ordonnancement par priorité personnalisée pour les ressources élastiques

Politique

Description

Scénario

Référence

Ordonnancement Gang

Tous les pods associés sont planifiés simultanément ou aucun ne l'est, empêchant ainsi les processus anormaux de bloquer le groupe.

• Jobs par lots : un job comprend plusieurs tâches interdépendantes qui doivent être traitées en même temps.

• Calcul distribué : jobs d'entraînement de machine learning ou autres applications distribuées qui doivent s'exécuter simultanément.

• Calcul haute performance : un job peut nécessiter la disponibilité simultanée de toutes les ressources avant son exécution.

Utiliser l'ordonnancement Gang

Ordonnancement basé sur la capacité

Réservez des ressources pour des namespaces ou des groupes d'utilisateurs spécifiques, et améliorez l'utilisation grâce au partage des ressources lorsque les ressources du cluster sont limitées.

Dans les clusters multi-locataires, la diversité des cycles de vie des ressources et des modèles d'utilisation entraîne une faible utilisation. Le partage et la récupération des ressources améliorent l'utilisation globale.

Travailler avec l'ordonnancement basé sur la capacité

Description

Scénario

Référence

Le planificateur utilise des libellés d'ordonnancement gang pour garantir que toutes les demandes de ressources des pods sont satisfaites simultanément. L'ordonnancement conscient de la topologie parcourt les domaines topologiques pour trouver celui qui répond à toutes les exigences des pods.

Associez les pools de nœuds à des ensembles de déploiement afin d'orienter les pods vers des instances ECS situées dans le même ensemble de déploiement à faible latence, améliorant ainsi les performances des jobs.

Lors de jobs de machine learning ou de big data, les pods doivent communiquer fréquemment. Le planificateur parcourt les domaines topologiques pour identifier celui qui satisfait toutes les exigences des pods, réduisant ainsi le temps d'exécution des jobs.

• Ordonnancement conscient de la topologie

• Bonnes pratiques pour les ensembles de déploiement dans les pools de nœuds

Politique

Description

Scénario

Référence

CPU Burst

Le système d'exploitation peut limiter l'utilisation du CPU par le conteneur au sein d'un cycle (limitation du CPU). CPU Burst permet aux conteneurs inactifs d'accumuler des tranches de temps CPU et de dépasser la limite CPU lors des pics de demande, améliorant ainsi les performances et réduisant la latence.

• Conteneurs consommant beaucoup de CPU lors du démarrage et du chargement, mais nécessitant un usage CPU régulier par la suite.

• Applications sujettes à des pics soudains de CPU, comme le e-commerce, les jeux vidéo et autres services web, qui doivent répondre rapidement aux augmentations brutales de trafic.

Activer la politique d'optimisation des performances CPU Burst

Ordonnancement CPU conscient de la topologie

Épinglez les pods sensibles au CPU à des cœurs CPU spécifiques pour éviter la dégradation des performances due aux changements de contexte fréquents et aux accès mémoire cross-NUMA.

• Applications non adaptées aux environnements cloud-native — par exemple, nombre de threads basé sur les cœurs physiques plutôt que sur les spécifications du conteneur, entraînant une dégradation des performances.

• Applications exécutées sur des instances Bare Metal ECS multicœurs équipées de processeurs Intel ou AMD, qui subissent une dégradation des performances due aux accès mémoire cross-NUMA.

• Applications très sensibles aux changements de contexte CPU qui ne peuvent pas tolérer de fluctuations de performances.

Activer l'ordonnancement conscient de la topologie CPU

Ordonnancement GPU conscient de la topologie

Lorsque plusieurs pods gourmands en GPU s'exécutent simultanément, ils peuvent entrer en concurrence pour les ressources GPU et basculer entre différents GPU ou nœuds NUMA, ce qui dégrade les performances. L'ordonnancement GPU conscient de la topologie assigne les charges de travail à des GPU spécifiques, réduisant les accès mémoire cross-NUMA et améliorant les performances.

• Calcul distribué à grande échelle nécessitant un transfert efficace des données, tel que le calcul haute performance.

• Charges de travail de machine learning et de deep learning qui exigent d'importantes ressources GPU et une allocation appropriée des jobs d'entraînement sur les GPU.

• Rendu graphique et développement de jeux vidéo nécessitant une allocation efficace des jobs de rendu sur les GPU.

• Ordonnancement GPU conscient de la topologie

• Activer l'ordonnancement conscient de la topologie NUMA

Surengagement dynamique des ressources

Récupérez les ressources allouées mais inutilisées par les pods et attribuez-les à des jobs de faible priorité pour permettre la surallocation. Utilisez conjointement les politiques QoS suivantes au niveau du nœud unique pour empêcher les applications de s'affecter mutuellement :

• CPU Suppress : Limitez les ressources CPU disponibles pour les pods de faible priorité lorsque l'utilisation globale du nœud est inférieure au seuil, garantissant ainsi la stabilité des conteneurs.

• QoS CPU : Garantissez une allocation CPU suffisante pour les applications prioritaires.

• QoS mémoire : Garantissez une allocation mémoire suffisante pour les applications prioritaires et retardez la récupération de la mémoire.

• Isolation des ressources basée sur le cache L3 et l'allocation de bande passante mémoire (MBA) : Accordez la priorité au cache L3 et à la MBA pour les applications prioritaires.

Améliorez l'utilisation des ressources du cluster grâce à la colocalisation. Parmi les scénarios typiques figurent l'entraînement et l'inférence de modèles ML, le traitement et l'analyse par lots de big data, les services en ligne et les sauvegardes hors ligne.

• Activer le surengagement dynamique des ressources

• Activer CPU Suppress

• Activer la QoS CPU pour les conteneurs

• QoS mémoire

• Activer l'isolation des ressources basée sur le cache L3 et la MBA

• Bonnes pratiques pour la colocalisation

Modifier dynamiquement les paramètres de ressources d'un pod

Dans Kubernetes 1.27 ou versions antérieures, la modification des paramètres du conteneur nécessite la suppression et la recréation du pod. ACK vous permet de modifier les limites CPU, mémoire et IOPS de disque sans redémarrer le pod.

Ajustements temporaires des ressources CPU ou mémoire.

Modifier dynamiquement les paramètres de ressources des pods

Politique

Description

Scénario

Référence

Désordonnancement

Replanifiez les pods mal positionnés vers les nœuds optimaux lorsque des points chauds se forment en raison d'une utilisation inégale des ressources ou de modifications des attributs des nœuds, garantissant ainsi la haute disponibilité et l'efficacité des charges de travail.

• Distribution inégale des charges de travail avec des nœuds surchargés, par exemple dans des scénarios de colocalisation.

• Faible utilisation des ressources du cluster nécessitant la suppression de nœuds pour réduire les coûts.

• La fragmentation des ressources empêche les nœuds individuels de disposer de ressources suffisantes, malgré une capacité adéquate à l'échelle du cluster.

• Des taints ou des libellés sont ajoutés à un nœud ou supprimés de celui-ci.

• Désordonnancement

• Activer la fonctionnalité de désordonnancement

Travailler avec le désordonnancement des points chauds sensible à la charge

Combinez l'ordonnancement conscient de la charge et le désordonnancement des points chauds pour surveiller les charges des nœuds et rééquilibrer automatiquement les nœuds qui dépassent le seuil de charge.

Désordonnancement des points chauds sensible à la charge