Function Compute:Tipos y especificaciones de instancia

Guía de decisión

Responda a continuación estas preguntas para encontrar el tipo de instancia adecuado:

• ¿Su carga de trabajo es interactiva y sensible a la latencia? Por ejemplo, un chatbot en tiempo real o una API de generación de imágenes. Si es así, utilice Provisioned Instances para eliminar los arranques en frío y garantizar los tiempos de respuesta.

• ¿Su tráfico tiene una línea base predecible con picos ocasionales? En ese caso, utilice el modo mixto (Provisioned Instances + Elastic Instances) para mantener una capacidad base estable y absorber los aumentos repentinos de tráfico.

• ¿Su tráfico es variable, irregular o de baja frecuencia? Utilice Elastic Instances y pague únicamente por el uso activo.

Comparación de tipos de instancia

Elastic Instance

Las Elastic Instances escalan automáticamente según el volumen de solicitudes y se liberan cuando están inactivas. Si establece el número mínimo de instancias en 0, obtendrá un modelo pay-as-you-go puro: pagará solo por el uso activo.

Comportamiento del arranque en frío: Los arranques en frío ocurren cuando las instancias escalan desde cero. Para reducir la latencia del arranque en frío, establezca el número mínimo de instancias en 1 o más. Esto preasigna recursos elásticos para que las instancias estén listas y procesen rápidamente las solicitudes entrantes.

Facturación: Los costos incluyen cargos por las instancias en estado activo y Shallow Hibernation. En Shallow Hibernation, los recursos de vCPU no generan cargos y los recursos de GPU se facturan a una quinta parte de la tarifa activa. Si establece el número mínimo de instancias en 1 o más, habilite Shallow Hibernation para reducir los costos por inactividad.

Utilice Elastic Instances cuando:

• Su tráfico sea variable, irregular o de baja frecuencia.

• Desea pagar únicamente por el uso real.

• Su carga de trabajo tolera latencias ocasionales por arranque en frío (o las mitiga con un número mínimo de instancias).

Provisioned Instance

Las Provisioned Instances aplican solo a funciones de GPU. Compre un dedicated resource pool (formerly resident resource pool) por adelantado y asigne un número y tipo específicos de instancias a su función. Esto elimina los arranques en frío dentro de la capacidad asignada y le proporciona costos fijos y predecibles.

Comportamiento del arranque en frío: Ninguna. Todas las solicitudes dentro de la capacidad asignada reciben una respuesta en tiempo real. El máximo de solicitudes simultáneas = (Number of allocated Provisioned Instances) × (Instance concurrency). Las solicitudes que superan este límite se limitan (throttling).

Facturación: La tarifa total de suscripción de todos los pools de recursos dedicados comprados .

Las Provisioned Instances están disponibles solo para funciones de GPU de las series Ada, Ada.2, Ada.3, Hopper o Xpu.1.

Utilice Provisioned Instances cuando:

• Su carga de trabajo sea interactiva y sensible a la latencia (por ejemplo, un chatbot en tiempo real o una API de generación de imágenes).

• Su tráfico sea constante y predecible.

• Necesita capacidad garantizada y tiempos de respuesta consistentes.

Provisioned Instances + Elastic Instances (modo mixto)

El modo mixto aplica solo a funciones de GPU. Combina Provisioned Instances y Elastic Instances: el pool de recursos dedicado procesa primero el tráfico en estado estable y las instancias elásticas escalan automáticamente cuando las solicitudes superan la capacidad de dicho pool. Así obtiene una línea base garantizada con la flexibilidad necesaria para absorber picos repentinos de tráfico.

Comportamiento del arranque en frío: Parcial. Las solicitudes procesadas dentro del pool de recursos dedicado no tienen arranque en frío. Las solicitudes que activan el escalado automático hacia nuevas instancias elásticas sí experimentan un arranque en frío.

Facturación: La porción aprovisionada se factura contra la cuota del pool de recursos dedicado que compró. Las instancias elásticas iniciadas por encima de esa cuota se facturan bajo el modelo pay-as-you-go, con las mismas tarifas que las instancias elásticas activas y en Shallow Hibernation.

Utilice el modo mixto cuando:

• Su tráfico tenga una línea base predecible, pero presente picos ocasionales.

• Busca un rendimiento estable para la carga normal y capacidad para manejar tráfico repentino.

• Requiere un equilibrio entre la previsibilidad de costos y la flexibilidad de escalado.

Relación entre las especificaciones de instancia de GPU y la concurrencia de instancia

Una GPU Ada.1 tiene 48 GB de memoria y una GPU de la serie Tesla tiene 16 GB de memoria. Function Compute asigna toda la memoria de una tarjeta de GPU a un único contenedor de GPU. Dado que la cuota predeterminada de tarjetas de GPU es de un máximo de 30 por región, en dicha región pueden ejecutarse simultáneamente hasta 30 contenedores de GPU.

• Si la concurrencia de instancia de una función de GPU es 1, la función procesa hasta 30 solicitudes de inference de forma simultánea en una región.

• Si la concurrencia de instancia de una función de GPU es 5, la función procesa hasta 150 solicitudes de inference de forma simultánea en una región.