EAS ofrece tres tipos de recursos: recursos públicos, resource groups de EAS y cuotas de recursos. Estos permiten cubrir diversos escenarios, desde pruebas hasta producción. En este tema se describe cómo seleccionar un tipo de recurso y configurar los recursos de cómputo junto con las políticas de programación.
Selección del tipo de recurso
Tipo de recurso | Casos de uso | Facturación | Comparación de funciones | |
Ideal para pruebas o servicios con tráfico fluctuante (cuando se combinan recursos dedicados con un pool de recursos elástico). |
|
| ||
Resource group dedicado | Adecuado para escenarios que requieren alta seguridad o recursos exclusivos. Adquiera un resource group dedicado para reservar recursos escasos. |
|
| |
Resource group virtual | Un resource group lógico que combina varios tipos de recursos, como recursos públicos, cuotas de recursos y resource groups dedicados. | La facturación se basa en los recursos programados y utilizados. |
| |
Cuota de recursos | Cómputo de propósito general 2.0 | Adecuado para escenarios de producción que requieren recursos dedicados y aislamiento de recursos. |
|
|
Ideal para modelos grandes o escenarios que requieren hardware de alto rendimiento, como interconexiones de alta velocidad RDMA y almacenamiento CPFS para cómputo inteligente. |
| |||
Recomendaciones:
Pruebas y desarrollo: Utilice public resources para obtener facturación pay-as-you-go sin inversión inicial. La disponibilidad de recursos puede ser limitada durante las horas pico. Para más información, consulte What do I do if public resources are insufficient?
Entornos de producción (tráfico estable): Utilice un EAS dedicated resource group o una cuota de recursos (Cómputo de propósito general 2.0). Estas opciones proporcionan recursos dedicados, rendimiento estable y admiten facturación por suscripción para reducir costos.
Entornos de producción (tráfico fluctuante): Utilice un resource group virtual. Un resource group dedicado o una cuota de recursos proporciona una línea base, mientras que los recursos públicos manejan los picos de tráfico.
Modelos grandes o hardware especializado: Utilice una cuota de recursos (Lingjun intelligent computing) para acceder a hardware de alto rendimiento.
Selección del tipo de instancia
Elija un tipo de instancia CPU o GPU según el tamaño de su modelo y la carga de trabajo de inference.
Instancia spot: Al utilizar recursos públicos, puede habilitar el modo spot y establecer un límite de oferta para usar recursos inactivos a un precio menor que las instancias regulares. Una instancia spot puede ser recuperada por el sistema, por lo que es más adecuada para tareas de inference que toleran interrupciones.
GPU driver version: Al elegir una instancia GPU, especifique una versión del controlador de GPU en la sección Features > Resource Configuration para cumplir con los requisitos de ejecución de un modelo o framework específico.
Configuración del disco del sistema
El disco del sistema almacena datos temporales generados durante la ejecución. Las configuraciones predeterminadas varían según el tipo de recurso:
Recursos públicos: Se proporciona un disco del sistema gratuito de 30 GiB. El uso superior a 30 GiB se factura bajo el modelo pay-as-you-go.
Resource group de EAS o cuota de recursos: El tamaño predeterminado del disco del sistema es de 60 GiB. Si modifica la capacidad, el disco se asigna desde la máquina host.
Establecimiento del número de réplicas
El número de réplicas corresponde a la cantidad de instancias que ejecutan su servicio. Se recomienda configurar varias réplicas para evitar un punto único de falla.
Configuración de políticas de programación
Al utilizar un resource group de EAS o una cuota de recursos, puede aplicar las siguientes políticas para optimizar la programación de recursos:
Elastic Resource Pool: Cuando sus propios recursos son insuficientes, el sistema escala horizontalmente de forma automática mediante recursos públicos pay-as-you-go para manejar picos de tráfico. Durante el escalado descendente, las instancias que usan recursos públicos se liberan primero para reducir costos. Para más información, consulte Elastic resource pool.
Specify Node Scheduling: Esta política restringe la ejecución del servicio a nodos específicos. Si no se especifican nodos, todos los nodos no excluidos son elegibles para la programación.
High-priority Resource Rescheduling: Si habilita esta función, el sistema migra periódicamente instancias desde recursos de menor prioridad, como recursos públicos, hacia recursos de mayor prioridad, como un resource group dedicado, para optimizar costos. Esto es útil cuando las actualizaciones continuas programan temporalmente instancias en recursos públicos, o cuando desea migrar instancias regulares a instancias spot para reducir costos.
Resource Affinity Scheduling: Al utilizar recursos de cómputo inteligente Lingjun de un resource group público para inference distribuida multinodo, se recomienda habilitar la programación por afinidad de recursos en la sección Features. Esto programa las instancias en el dominio de red de hipernodo especificado dentro de la zona HPN para garantizar la interconexión de alta velocidad RDMA.
Uso compartido de GPU e inference distribuida
GPU sharing: Divide la potencia de cómputo y la memoria de una sola tarjeta GPU entre varias instancias de servicio para mejorar la utilización de la GPU y reducir los costos de despliegue. Esta función es ideal para modelos más pequeños o cargas de trabajo con bajos volúmenes de inference. El uso compartido de GPU solo puede habilitarse al utilizar un resource group de EAS o una cuota de recursos.
Multi-node distributed inference: Despliega una sola instancia de servicio en varias máquinas. Esto supera los límites de hardware de un solo nodo y permite el despliegue y operación de modelos extremadamente grandes.
Preguntas frecuentes
Uso y limitaciones de recursos
P: ¿Por qué no está disponible la instancia de 1 vCPU y 2 GB?
La instancia de 1 vCPU y 2 GB de memoria no está disponible para garantizar la estabilidad del servicio. Los componentes del sistema consumen una parte de los recursos de cada nodo. En instancias pequeñas, esto deja recursos insuficientes para su servicio.
P: ¿Cómo estimar la cantidad de modelos por instancia de PAI-EAS?
La cantidad de modelos que puede desplegar en una sola instancia de PAI-EAS depende de los requisitos de recursos de cada modelo, como núcleos de CPU, memoria de GPU y memoria del sistema. No existe un límite predefinido. Se recomienda elegir un tipo de instancia según las necesidades reales de su modelo o desplegar diferentes modelos en instancias separadas.
P: ¿Cuál es el número máximo de servicios que se pueden desplegar en EAS?
El número máximo de instancias de servicio que puede desplegar depende de los recursos disponibles restantes. Puede consultar la capacidad restante de cada máquina en la lista de máquinas de su resource group en la consola. Para más información, consulte Use an EAS resource group.
Si asigna tareas según los núcleos de CPU, el número máximo de instancias que puede desplegar es (Total de núcleos de CPU - 1) / Núcleos utilizados por instancia.
P: ¿Qué instancia de EAS es comparable a una RTX 4090?
ecs.gn8ia-2x.8xlarge ofrece un rendimiento cercano al de una RTX 4090.
P: ¿Cuál es la concurrencia máxima para un modelo desplegado?
La concurrencia máxima de un servicio de modelo depende de varios factores, incluidos el modelo, el caso de uso y la configuración de recursos. Se recomienda realizar stress testing para medir el rendimiento de su servicio.
Gestión de resource groups dedicados
P: ¿Por qué mi resource group dedicado ha estado en estado "Scaling Out" durante mucho tiempo?
Esto suele ocurrir debido a capacidad insuficiente en la región actual. Para instancias de suscripción, si la creación falla por falta de capacidad, el sistema genera automáticamente una orden de reembolso y devuelve el pago al método de pago original.
P: ¿Cómo eliminar una instancia de suscripción?
Vaya a la página Alibaba Cloud Unsubscribe Resources para cancelar la suscripción de máquinas dedicadas de EAS basadas en suscripción que ya no necesite. Configure los siguientes parámetros:
Type: Seleccione Partial refund.
Product name: Seleccione EAS Dedicated Machine Subscription.
Haga clic en Search para encontrar el recurso del que desea cancelar la suscripción. Luego, haga clic en Unsubscribe resource en la columna Actions y siga las instrucciones en pantalla para completar el proceso.
P: ¿Se conservan los datos de la instancia después de cancelar la suscripción?
No, los datos de las instancias de servicio no se conservan.
Gestión del disco del sistema
P: ¿Cómo aumento el tamaño del disco del sistema?
Puede configurar o ampliar el disco del sistema de un servicio de una de las siguientes maneras:
Configuración desde la consola: Al crear o actualizar un servicio, en la sección , establezca el tamaño de System Disk en Configure a system disk.
-
Configuración JSON: En el archivo de configuración JSON del servicio, modifique el valor
diskdel campometadata."metadata": {"disk": "40Gi"}
Si utiliza un resource group dedicado, el tamaño configurado del disco del sistema no puede exceder el tamaño del disco del sistema del nodo. Si necesita un disco del sistema más grande, debe liberar el nodo actual y adquirir uno nuevo con un disco del sistema de mayor capacidad.