Platform For AI:Pool de ressources élastiques

Avantages

• Dépasser les limites de capacité des groupes de ressources : Lorsque les ressources du groupe de ressources dédié viennent à manquer, la montée en charge du service utilise automatiquement des instances à la demande issues du pool de ressources public. Ainsi, la mise à l'échelle horizontale automatique (basée sur des métriques telles que les QPS ou l'utilisation du CPU) n'est plus limitée par le nombre de nœuds physiques disponibles dans le groupe de ressources dédié.

• Optimiser les coûts : Utilisez des ressources par abonnement peu coûteuses pour gérer le trafic de base et ne consommez des ressources à la demande que pendant les périodes de pointe. Cette approche évite de maintenir à long terme des ressources dédiées excédentaires uniquement pour couvrir les pics de charge, ce qui réduit le coût global des ressources.

Fonctionnement

Le pool de ressources élastiques applique un ordre de priorité clair lors de la planification afin d'équilibrer coûts et stabilité.

• Montée en charge (Scale-out)

  1. Lorsqu'un service déclenche une montée en charge, le planificateur EAS tente d'abord de créer de nouvelles instances au sein du groupe de ressources dédié associé au service.

  2. Si le groupe de ressources dédié ne dispose pas de ressources suffisantes (par exemple, aucun nœud disponible ou insuffisance de CPU, de mémoire ou de GPU), le planificateur crée les nouvelles instances dans le groupe de ressources public en utilisant la spécification de ressource (type d'instance) que vous avez définie lors de la configuration du pool de ressources élastiques.

• Descente en charge (Scale-in)

  1. Lorsqu'un service déclenche une descente en charge, le système sélectionne et arrête en priorité les instances s'exécutant dans le groupe de ressources public.

  2. Le système ne commence à réduire les instances du groupe de ressources dédié qu'une fois toutes les instances élastiques du groupe de ressources public supprimées. Cette logique garantit la libération prioritaire des ressources élastiques, plus coûteuses, tout en conservant les instances de base, plus stables.

Prérequis

Vous avez créé un groupe de ressources dédié. Pour plus d'informations, consultez la rubrique Utiliser les groupes de ressources EAS.

Méthodes de configuration

Activer le pool de ressources élastiques lors du déploiement du service

{
  "model_path": "http://examplebucket.oss-cn-shanghai.aliyuncs.com/models/lr.pmml",
  "name": "test_burstable_service",
  "processor": "pmml",
  "metadata": {
    "instance": 1,
    "cpu": 1,
    "resource": "eas-r-xxx",
    "resource_burstable": true
  },
   "cloud": {
        "computing": {
            "instance_type": "ecs.r7.2xlarge"
        },
        "networking": {
            "security_group_id": "sg-uf68iou5an8j7sxd****",
            "vswitch_id": "vsw-uf6nji7pzztuoe9i7****"
        }
    }
}

Activer ou désactiver le pool de ressources élastiques après le déploiement du service

# Enable auto scaling for service resources.
eascmdwin64.exe modify <service_name> -Dmetadata.resource_burstable=true
# Disable auto scaling for service resources.
eascmdwin64.exe modify <service_name> -Dmetadata.resource_burstable=false

Références

• Activez la mise à l'échelle horizontale automatique pour permettre au système de s'adapter automatiquement en fonction des métriques configurées. Pour plus d'informations, consultez la rubrique Mise à l'échelle horizontale automatique.

• Pour ajuster automatiquement le nombre de réplicas à une valeur spécifique selon un planning défini, consultez la rubrique Mise à l'échelle automatique planifiée.