Platform For AI:Uso de recursos públicos

Spot instances

Una spot instance es una preemptible instance que puede adquirir estableciendo un precio máximo, lo cual representa una forma rentable de obtener recursos de cómputo.

• Ventajas

  • Rentabilidad: La principal ventaja de las spot instances es su bajo costo. El precio fluctúa en tiempo real según la oferta y la demanda, y suele ser muy inferior al de las instancias estándar.

  • Niveles de precios: Las spot instances están disponibles con o sin periodo de protección. Los precios, de menor a mayor, son: precio de spot instance sin periodo de protección < precio de spot instance con periodo de protección < precio de instancia estándar.

• Condiciones de adquisición

  • Solo es posible adquirir una spot instance cuando hay inventario suficiente y su precio de puja no es inferior al precio actual del mercado.

• Las condiciones de liberación dependen de la configuración del periodo de protección de la spot instance.

  • Con periodo de protección de una hora: La instancia se ejecuta durante al menos una hora. Durante este periodo, la instancia no se libera. Una vez finalizado, podría liberarse automáticamente.

  • Sin periodo de protección: No se garantiza el uso continuo de la instancia. Esta podría liberarse automáticamente en cualquier momento debido a cambios en el inventario o en los precios del mercado.

• Método de facturación

  • Las spot instances se facturan bajo el modelo pay-as-you-go, con cargos calculados según el precio de mercado en tiempo real.

Varios tipos de instancia

Si especifica un solo tipo de instancia al desplegar un servicio, el despliegue podría retrasarse significativamente por falta de inventario de ese tipo. Para solucionar esto, EAS permite seleccionar varios tipos de instancia durante el despliegue, lo que reduce notablemente los retrasos causados por la escasez de un único tipo.

• Orden de uso de instancias

  Al crear o actualizar un servicio, puede especificar varios tipos de instancia, como spot instances e instancias estándar. Durante el despliegue, el sistema intenta usarlas en el orden indicado. Si falla la puja por una spot instance o si un tipo está agotado, el sistema probará automáticamente con el siguiente tipo disponible en la lista.

• Liberación y reasignación de recursos

  Si una spot instance configurada se recupera debido a cambios en el inventario o en el precio del mercado, EAS aprovisiona automáticamente una nueva instancia utilizando el recurso disponible de mayor prioridad en su configuración para garantizar la continuidad del servicio.

Disco de sistema

PAI proporciona un disco de sistema gratuito de 30 GiB para cada nodo de máquina que utiliza recursos públicos. Si requiere mayor capacidad, se le facturará el almacenamiento adicional bajo el modelo pay-as-you-go. Para más detalles sobre facturación, consulte Billing of Elastic Algorithm Service (EAS).

Configuración desde la consola

Esta sección toma como ejemplo el despliegue personalizado.

1. Inicie sesión en la PAI console. Seleccione una región en la parte superior de la página. Luego, seleccione el workspace deseado y haga clic en Elastic Algorithm Service (EAS).

   • Crear un servicio: En la pestaña Inference Service, haga clic en Deploy Service y seleccione Custom Model Deployment > Custom Deployment.

   • Actualizar un servicio: En la pestaña Inference Service, localice el servicio objetivo en la lista y haga clic en Update dentro de la columna Actions.

2. En la sección Resource Information, seleccione Public Resources para Resource Type. Después, haga clic en Resource Specification y seleccione el tipo de instancia deseado de la lista.

3. (Opcional) Habilite la función de spot instance. Active el interruptor Bidding, establezca un precio de puja y seleccione un periodo de protección para la spot instance.

   Nota

   • El interruptor Bidding solo está disponible para tipos de instancia compatibles con spot instances.

   • Al usar spot instances, configure también instancias estándar para evitar fallos en el despliegue del servicio en caso de que la puja por una spot instance no tenga éxito.

   Para Spot Protection Period, seleccione No guaranteed protection period (no se garantiza el uso continuo; la instancia podría liberarse automáticamente por fluctuaciones de inventario o cambios de precio) o bien Retain the instance for 1 hour (proporciona un periodo de protección de una hora).

4. (Opcional) Configure varios tipos de instancia. Haga clic en + Add para agregar tipos adicionales. Puede añadir hasta 10 especificaciones de recursos.

5. Configure el tamaño del disco de sistema.

   Por ejemplo, establézcalo en 40 GiB. Un resource group público incluye un disco de sistema gratuito de 30 GiB. Si necesita más capacidad, se le facturará el uso real bajo el modelo pay-as-you-go.

Configuración JSON

Después de configurar los parámetros en la consola, puede consultar la configuración JSON generada en la sección Service Configuration. También puede editar directamente los parámetros en el archivo JSON.

El siguiente bloque de código muestra un ejemplo de los parámetros JSON para el despliegue de recursos:

{
    "metadata": {
        "name": "test",
        "instance": 1,
        "workspace_id": "your-workspace-id",
        "disk": "40Gi"
    },
    "cloud": {
        "computing": {
            "instances": [
                {
                    "type": "ecs.c8i.2xlarge",
                    "spot_price_limit": 1
                },
                {
                    "type": "ecs.c8i.xlarge"
                }
            ],
            "disable_spot_protection_period": true
        }
    },
    "containers": [
        {
            "image": "eas-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai-eas/python-inference:py39-ubuntu2004",
            "script": "python app.py",
            "port": 8000
        }
    ]
}

Insuficiencia de recursos públicos

Al desplegar modelos grandes y populares, los recursos públicos podrían resultar insuficientes. En tal caso, considere las siguientes soluciones:

• Cambiar de región. La disponibilidad de recursos varía según la región, por lo que cambiar a otra podría ayudarle a encontrar recursos públicos disponibles.

  Importante

  Puede cambiar a la región Ulanqab para utilizar Lingjun Spot Resources. No se requiere aprobación de lista de permitidos. Tenga en cuenta que son recursos spot y pueden ser recuperados. Establezca su precio de puja con cuidado.

• Use an EAS resource group. Algunos tipos de instancia no están disponibles como recursos públicos. Puede visitar EAS Subscription Dedicated Resources para adquirir recursos dedicados de EAS.

  Importante

  La facturación de los recursos dedicados pay-as-you-go comienza inmediatamente después de la compra, independientemente de si se utilizan para desplegar un servicio. Elimine oportunamente los recursos dedicados no utilizados para evitar cargos innecesarios.

**¿Puedo seguir creando un servicio EAS mediante OpenAPI cuando DescribeMachineSpec devuelve un StockStatus de ClosedWithStock?**

Sí. ClosedWithStock solo indica que el tipo de instancia tiene inventario limitado; no bloquea la llamada a CreateService. Puede configurar varios tipos de instancia en cloud.computing.instances, y el sistema seleccionará automáticamente un tipo con inventario suficiente para crear el servicio, tal como se describe en Configuración JSON. Si el inventario sigue siendo insuficiente, también puede cambiar de región o adquirir recursos dedicados de EAS, como se describió anteriormente en esta sección.