Platform For AI:Utiliser des ressources publiques

Instances spot

Une instance spot est une instance préemptible que vous pouvez acheter en définissant un prix maximal, offrant ainsi un moyen rentable d'obtenir des ressources de calcul.

• Avantages

  • Rentabilité : le principal avantage des instances spot réside dans leur faible coût. Le prix fluctue en temps réel en fonction de l'offre et de la demande, et est généralement bien inférieur à celui des instances standard.

  • Niveaux de prix : les instances spot sont disponibles avec ou sans période de protection. Les prix, du plus bas au plus élevé, sont les suivants : prix d'une instance spot sans période de protection < prix d'une instance spot avec période de protection < prix d'une instance standard.

• Conditions d'acquisition

  • Vous ne pouvez acquérir une instance spot que si l'inventaire est suffisant et que votre prix d'enchère n'est pas inférieur au prix actuel du marché.

• Les conditions de libération dépendent des paramètres de période de protection de l'instance spot.

  • Avec une période de protection d'une heure : l'instance fonctionne pendant au moins une heure. Durant cette période de protection, l'instance n'est pas libérée. Une fois la période de protection terminée, l'instance peut être libérée automatiquement.

  • Sans période de protection : l'utilisation continue de l'instance n'est pas garantie. L'instance peut être libérée automatiquement à tout moment en raison de variations de l'inventaire ou des prix du marché.

• Méthode de facturation

  • Les instances spot sont facturées en mode paiement à l'utilisation, les frais étant calculés sur la base du prix du marché en temps réel.

Plusieurs types d'instance

Si vous spécifiez un seul type d'instance lors du déploiement d'un service, le déploiement risque d'être considérablement retardé en raison d'un inventaire insuffisant pour ce type d'instance. Pour résoudre ce problème, EAS vous permet de sélectionner plusieurs types d'instance lors du déploiement. Cela réduit considérablement les retards de déploiement causés par une pénurie d'un seul type d'instance.

• Ordre d'utilisation des instances

  Lors de la création ou de la mise à jour d'un service, vous pouvez spécifier plusieurs types d'instance, tels que des instances spot et des instances standard. Lors du déploiement, le système tente d'utiliser ces instances dans l'ordre que vous avez spécifié. Si l'enchère pour une instance spot échoue ou si un type d'instance est en rupture de stock, le système essaie automatiquement le type disponible suivant dans la liste.

• Libération et réallocation des ressources

  Si une instance spot configurée est récupérée en raison de variations de l'inventaire ou du prix du marché, EAS provisionne automatiquement une nouvelle instance en utilisant la ressource disponible la plus prioritaire de votre configuration afin d'assurer la continuité du service.

Disque système

PAI fournit gratuitement un disque système de 30 GiB pour chaque nœud de machine utilisant des ressources publiques. Si vous avez besoin de plus de capacité, la capacité supplémentaire est facturée en mode paiement à l'utilisation. Pour plus d'informations sur la facturation, consultez la section Facturation d'Elastic Algorithm Service (EAS).

Configuration via la console

Cette section utilise le déploiement personnalisé comme exemple.

1. Connectez-vous à la console PAI. Sélectionnez une région en haut de la page. Ensuite, sélectionnez l'espace de travail souhaité et cliquez sur Enter Elastic Algorithm Service (EAS).

   • Créer un service : dans l'onglet Inference Service, cliquez sur Deploy Service et sélectionnez Custom Model Deployment > Custom Deployment.

   • Mettre à jour un service : dans l'onglet Inference Service, localisez le service cible dans la liste des services et cliquez sur Update dans la colonne Actions.

2. Dans la section Resource Information, sélectionnez Public Resources pour le champ Resource Type. Cliquez ensuite sur Resource Specification et sélectionnez le type d'instance souhaité dans la liste.

3. (Facultatif) Activez la fonctionnalité d'instance spot. Activez l'interrupteur Bidding, définissez un prix d'enchère et sélectionnez une période de protection pour l'instance spot.

   Remarque

   • L'interrupteur Bidding est disponible uniquement pour les types d'instance qui prennent en charge les instances spot.

   • Lorsque vous utilisez des instances spot, configurez également des instances standard afin d'éviter les échecs de déploiement du service en cas d'échec de votre enchère pour une instance spot.

   Pour Spot Protection Period, sélectionnez soit No guaranteed protection period (l'utilisation continue n'est pas garantie ; l'instance peut être libérée automatiquement en raison de fluctuations de l'inventaire ou de changements de prix du marché), soit Retain the instance for 1 hour (offre une période de protection d'une heure).

4. (Facultatif) Configurez plusieurs types d'instance. Cliquez sur + Add pour configurer des types d'instance supplémentaires. Vous pouvez ajouter jusqu'à 10 spécifications de ressources.

5. Configurez la taille du disque système.

   Par exemple, définissez-la sur 40 GiB. Un groupe de ressources publiques fournit gratuitement un disque système de 30 GiB. Si vous avez besoin de plus de capacité, l'utilisation réelle est facturée en mode paiement à l'utilisation.

Configuration JSON

Après avoir configuré les paramètres dans la console, vous pouvez afficher la configuration JSON générée dans la section Service Configuration. Vous pouvez également modifier directement les paramètres dans le fichier JSON.

Le bloc de code suivant montre un exemple de paramètres JSON pour le déploiement de ressources :

{
    "metadata": {
        "name": "test",
        "instance": 1,
        "workspace_id": "your-workspace-id",
        "disk": "40Gi"
    },
    "cloud": {
        "computing": {
            "instances": [
                {
                    "type": "ecs.c8i.2xlarge",
                    "spot_price_limit": 1
                },
                {
                    "type": "ecs.c8i.xlarge"
                }
            ],
            "disable_spot_protection_period": true
        }
    },
    "containers": [
        {
            "image": "eas-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai-eas/python-inference:py39-ubuntu2004",
            "script": "python app.py",
            "port": 8000
        }
    ]
}

Ressources publiques insuffisantes

Lorsque vous déployez des modèles volumineux et populaires, les ressources publiques peuvent être insuffisantes. Dans ce cas, appliquez les solutions suivantes :

• Changer de région. La disponibilité des ressources varie selon la région ; passer à une autre région peut donc vous aider à trouver des ressources publiques disponibles.

  Important

  Vous pouvez passer à la région Ulanqab pour utiliser les ressources spot Lingjun. Aucune approbation de liste blanche n'est requise. Notez qu'il s'agit de ressources spot qui peuvent être préemptées. Définissez votre prix d'enchère avec soin.

• Utiliser un groupe de ressources EAS. Certains types d'instance ne sont pas disponibles en tant que ressources publiques. Vous pouvez accéder à EAS Subscription Dedicated Resources pour acheter des ressources EAS dédiées.

  Important

  La facturation des ressources dédiées en mode paiement à l'utilisation commence immédiatement après l'achat, qu'elles soient ou non utilisées pour déployer un service. Supprimez rapidement les ressources dédiées inutilisées afin d'éviter des frais inutiles.

**Puis-je toujours créer un service EAS via OpenAPI lorsque DescribeMachineSpec renvoie un StockStatus de ClosedWithStock ?**

Oui. ClosedWithStock indique uniquement que le type d'instance dispose d'un inventaire limité ; cela n'empêche pas un appel CreateService. Vous pouvez configurer plusieurs types d'instance dans cloud.computing.instances, et le système sélectionne automatiquement un type d'instance disposant d'un inventaire suffisant pour créer le service, comme décrit dans la section Configuration JSON. Si l'inventaire reste insuffisant, vous pouvez également changer de région ou acheter des ressources EAS dédiées, comme indiqué précédemment dans cette section.