Platform For AI:Utiliser des ressources publiques

Instances spot

Une instance spot est une instance préemptible que vous pouvez acheter en définissant un prix maximal, offrant ainsi un moyen rentable d'obtenir des ressources de calcul.

• Avantages

  • Rentabilité : le principal avantage des instances spot réside dans leur faible coût. Le prix fluctue en temps réel selon l'offre et la demande, et reste généralement bien inférieur à celui des instances standard.

  • Niveaux de prix : les instances spot sont disponibles avec ou sans période de protection. Les prix, du plus bas au plus élevé, sont les suivants : prix d'une instance spot sans période de protection < prix d'une instance spot avec période de protection < prix d'une instance standard.

• Conditions d'acquisition

  • Vous ne pouvez acquérir une instance spot que si l'inventaire est suffisant et que votre offre n'est pas inférieure au prix actuel du marché.

• Les conditions de libération dépendent des paramètres de période de protection de l'instance spot.

  • Avec une période de protection d'une heure : l'instance fonctionne pendant au moins une heure. Durant cette période de protection, l'instance n'est pas libérée. Une fois la période écoulée, l'instance peut être libérée automatiquement.

  • Sans période de protection : l'utilisation continue de l'instance n'est pas garantie. L'instance peut être libérée automatiquement à tout moment en raison de variations de l'inventaire ou des prix du marché.

• Méthode de facturation

  • Les instances spot sont facturées en mode paiement à l'utilisation, les frais étant calculés sur la base du prix du marché en temps réel.

Plusieurs types d'instance

Si vous spécifiez un seul type d'instance lors du déploiement d'un service, le déploiement risque d'être considérablement retardé en raison d'un inventaire insuffisant pour ce type d'instance. Pour résoudre ce problème, EAS vous permet de sélectionner plusieurs types d'instance pendant le déploiement. Cela réduit considérablement les retards de déploiement causés par une pénurie d'un type d'instance unique.

• Ordre d'utilisation des instances

  Lors de la création ou de la mise à jour d'un service, spécifiez plusieurs types d'instance, tels que des instances spot et des instances standard. Pendant le déploiement, le système tente d'utiliser ces instances dans l'ordre indiqué. Si l'offre pour une instance spot échoue ou si un type d'instance est en rupture de stock, le système essaie automatiquement le type disponible suivant dans la liste.

• Libération et réallocation des ressources

  Si une instance spot configurée est récupérée en raison de variations de l'inventaire ou du prix du marché, EAS provisionne automatiquement une nouvelle instance en utilisant la ressource disponible la plus prioritaire de votre configuration afin d'assurer la continuité du service.

Disque système

PAI fournit gratuitement un disque système de 30 Go pour chaque nœud de machine utilisant des ressources publiques. Si vous avez besoin de plus de capacité, la capacité supplémentaire est facturée en mode paiement à l'utilisation. Pour plus d'informations sur la facturation, consultez la rubrique Facturation d'Elastic Algorithm Service (EAS).

Configuration via la console

Cette section prend pour exemple un déploiement personnalisé.

1. Connectez-vous à la console PAI. Sélectionnez une région en haut de la page. Ensuite, choisissez l'espace de travail souhaité et cliquez sur Elastic Algorithm Service (EAS).

   • Créer un service : dans l'onglet Inference Service, cliquez sur Deploy Service et sélectionnez Custom Model Deployment > Custom Deployment.

   • Mettre à jour un service : dans l'onglet Inference Service, localisez le service cible dans la liste des services et cliquez sur Update dans la colonne Actions.

2. Dans la section Resource Information, sélectionnez Public Resources pour le paramètre Resource Type. Cliquez ensuite sur Resource Specification et choisissez le type d'instance souhaité dans la liste.

3. (Facultatif) Activez la fonctionnalité d'instance spot. Activez l'interrupteur Bidding, définissez un prix d'offre et sélectionnez une période de protection pour l'instance spot.

   Remarque

   • L'interrupteur Bidding n'est disponible que pour les types d'instance qui prennent en charge les instances spot.

   • Lorsque vous utilisez des instances spot, configurez également des instances standard afin d'éviter les échecs de déploiement du service en cas d'échec de votre offre pour une instance spot.

   Pour Spot Protection Period, sélectionnez soit No guaranteed protection period (l'utilisation continue n'est pas garantie ; l'instance peut être libérée automatiquement en raison de fluctuations de l'inventaire ou de changements de prix du marché), soit Retain the instance for 1 hour (fournit une période de protection d'une heure).

4. (Facultatif) Configurez plusieurs types d'instance. Cliquez sur + Add pour ajouter d'autres types d'instance. Vous pouvez ajouter jusqu'à 10 spécifications de ressources.

5. Configurez la taille du disque système.

   Par exemple, définissez-la sur 40 Go. Un groupe de ressources publiques fournit gratuitement un disque système de 30 Go. Si vous avez besoin de plus de capacité, l'utilisation réelle est facturée en mode paiement à l'utilisation.

Configuration JSON

Après avoir configuré les paramètres dans la console, affichez la configuration JSON générée dans la section Service Configuration. Vous pouvez également modifier directement les paramètres dans le fichier JSON.

Le bloc de code suivant présente un exemple de paramètres JSON pour le déploiement de ressources :

{
    "metadata": {
        "name": "test",
        "instance": 1,
        "workspace_id": "your-workspace-id",
        "disk": "40Gi"
    },
    "cloud": {
        "computing": {
            "instances": [
                {
                    "type": "ecs.c8i.2xlarge",
                    "spot_price_limit": 1
                },
                {
                    "type": "ecs.c8i.xlarge"
                }
            ],
            "disable_spot_protection_period": true
        }
    },
    "containers": [
        {
            "image": "eas-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai-eas/python-inference:py39-ubuntu2004",
            "script": "python app.py",
            "port": 8000
        }
    ]
}

Ressources publiques insuffisantes

Lorsque vous déployez des modèles volumineux et populaires, les ressources publiques peuvent s'avérer insuffisantes. Dans ce cas, appliquez les solutions suivantes :

• Changer de région. La disponibilité des ressources varie selon la région ; passer à une autre région peut donc vous aider à trouver des ressources publiques disponibles.

  Important

  Vous pouvez basculer vers la région Ulanqab pour utiliser les ressources spot Lingjun. Aucune approbation par liste blanche n'est requise. Notez qu'il s'agit de ressources spot et qu'elles peuvent être préemptées. Définissez votre prix d'offre avec soin.

• Utiliser un groupe de ressources EAS. Certains types d'instance ne sont pas disponibles en tant que ressources publiques. Accédez à EAS Subscription Dedicated Resources pour acheter des ressources EAS dédiées.

  Important

  La facturation des ressources dédiées en paiement à l'utilisation démarre immédiatement après l'achat, qu'elles soient ou non utilisées pour déployer un service. Supprimez rapidement les ressources dédiées inutilisées afin d'éviter des frais inutiles.

**Puis-je toujours créer un service EAS via l'OpenAPI lorsque DescribeMachineSpec renvoie un StockStatus de ClosedWithStock ?**

Oui. ClosedWithStock indique uniquement que le type d'instance dispose d'un inventaire limité ; cela ne bloque pas un appel CreateService. Configurez plusieurs types d'instance dans cloud.computing.instances, et le système sélectionne automatiquement un type d'instance disposant d'un inventaire suffisant pour créer le service, comme décrit dans la section Configuration JSON. Si l'inventaire reste insuffisant, changez de région ou achetez des ressources EAS dédiées, comme indiqué précédemment dans cette section.