EAS: Configure model cache acceleration - Platform For AI - Centro de documentación de Alibaba Cloud

Los servicios de inference leen los archivos de modelo desde las rutas montadas de OSS o NAS, lo que puede generar latencia debido a las limitaciones del ancho de banda de la red.EAS ofrece aceleración de caché de modelos para almacenar estos archivos en memoria o disco, mejorar la velocidad de lectura y reducir la latencia.

Cómo funciona

La aceleración de caché de modelos admite los dos métodos siguientes:

Caché local: almacena los archivos de modelo en la memoria o el disco inactivo del servicio de inference y los expone como un directorio del sistema de archivos. Este método es ideal para escenarios de escalado horizontal. Varias instancias del mismo servicio forman una red punto a punto (P2P). Así, las nuevas instancias obtienen datos directamente de las instancias existentes con caché poblada, en lugar de recuperarlos desde el origen en OSS o NAS.
Caché local + precalentamiento de caché: se basa en la caché local e implementa un servicio dedicado de precalentamiento que carga previamente los archivos de modelo en memoria. Es más indicado para nuevos despliegues, ya que resuelve el problema de arranque en frío inherente al almacenamiento en caché local.

Importante
Solo OSS es compatible con los servicios de precalentamiento de caché.

Una vez configurado, el sistema monta una ruta acelerada en cada instancia del servicio de inference. Su aplicación lee los archivos de modelo desde este directorio sin necesidad de modificar el código. La prioridad de carga del modelo es la siguiente:

Arranque en frío: el sistema intenta primero obtener los datos del servicio de precalentamiento de caché, si está configurado. De lo contrario, recupera los datos de OSS o NAS y los almacena localmente.
Escalado horizontal: el sistema prioriza los aciertos de la caché local (admite desalojo LRU). Si no encuentra los datos, intenta recuperarlos del servicio de precalentamiento. Si aun así no los localiza, recurre al origen en OSS o NAS.

Notas

Para mantener la coherencia de los datos, la ruta acelerada montada es de solo lectura.
Si necesita agregar archivos de modelo, colóquelos en la ruta de origen. La ruta acelerada lee automáticamente los nuevos archivos desde dicho origen.
No actualice ni elimine archivos de modelo directamente en la ruta de origen. Modificar o borrar archivos de esta manera puede provocar que la caché entregue datos inconsistentes u obsoletos.

Procedimiento

Despliegue personalizado

Inicie sesión en la PAI console. Seleccione una región en la parte superior de la página. Luego, seleccione el espacio de trabajo deseado y haga clic en Enter Elastic Algorithm Service (EAS).
Haga clic en Deploy Service. En la sección Custom Model Deployment, haga clic en Custom Deployment.
A continuación se describen los parámetros clave. Para obtener detalles sobre el resto de los parámetros, consulte custom deployment.
1. En la sección Environment Information, configure Mount storage para montar sus archivos de modelo en un directorio del contenedor. Por ejemplo, para montar archivos desde OSS:
  - Uri: la ruta de OSS donde se encuentran los archivos de modelo, como oss://path/to/models/.
  - Mount Path: la ruta dentro del contenedor donde se montan los archivos, como /mnt/data/.
  - Cache acceleration: habilite esta opción para acelerar la lectura de modelos y la programación del escalado horizontal.
    - Cache Medium: selecciónelo según el tipo de recurso en uso.
      - Memory: usa la memoria como medio de caché. Disponible para todos los tipos de recursos.
      - Disk: usa el disco como medio de caché. Solo es compatible con los recursos de computación inteligente Lingjun.
    - Maximum Capacity: la capacidad máxima que ocupan los archivos acelerados, en GB. Cuando se supera este límite, el sistema desaloja datos según una política LRU. El valor mínimo es 3G, porque algunos parámetros de configuración avanzada predeterminados requieren una capacidad mayor a 3G para surtir efecto. Asegúrese de reservar suficiente espacio en memoria o disco.
    - Accelerated Path: la ruta local acelerada para el almacenamiento en caché de archivos. Ejemplo: /mnt/data-fast/.
    - Model Cache Prefetch Service (compatible solo con OSS): seleccione un servicio de precalentamiento de caché desplegado. Se recomienda esta opción para nuevos despliegues o escenarios que exigen arranques en frío rápidos, como aquellos con archivos de modelo grandes o escalados horizontales frecuentes. Para usarla, primero debe deploy a cache warm-up service.
2. En la sección Environment Information, modifique Command to Run. Cambie la ruta del archivo de modelo en el comando de la ruta de origen a la ruta acelerada. Por ejemplo, al desplegar un servicio de LLM:
```
vllm serve /mnt/data-fast/
```
Después de configurar los parámetros, haga clic en Deploy.

Despliegue mediante JSON

Inicie sesión en la PAI console. Seleccione una región en la parte superior de la página. Luego, seleccione el espacio de trabajo deseado y haga clic en Enter Elastic Algorithm Service (EAS).
En la página Elastic Algorithm Service (EAS), haga clic en Deploy Service. En la sección Custom Model Deployment, haga clic en JSON Deployment.

Introduzca la configuración JSON. La siguiente tabla describe los parámetros relacionados con la aceleración de caché de modelos. Para obtener información sobre otros parámetros, consulte JSON deployment.

Parámetro		Descripción
storage[0]	oss.path	La ruta de OSS donde se encuentran los archivos de modelo. Ejemplo: `oss://path/to/models/`.
storage[0]	mount_path	La ruta dentro del contenedor donde se monta OSS. Ejemplo: `/mnt/data/`.
storage[1]	cache.capacity	La capacidad máxima que ocupan los archivos acelerados, en GB. Cuando se supera este límite, el sistema desaloja datos según una política LRU. El valor mínimo es 3G, porque algunos parámetros de configuración avanzada predeterminados requieren una capacidad mayor a 3G para surtir efecto. Asegúrese de reservar suficiente espacio en memoria o disco.
	cache.path	El directorio de origen de los archivos que se van a acelerar (la ruta del contenedor donde se monta OSS o NAS). Ejemplo: `/mnt/data/`.
	cache_backend	El medio de caché. Establezca este valor en `disk` para usar la caché de disco. Si no se especifica este parámetro, se utiliza la memoria como medio de caché.
	cache.cacheroot_service	El nombre del servicio de precalentamiento de caché.
	mount_path	La ruta acelerada. Ejemplo: `/mnt/data-fast/`.
containers.script		Cambie la ruta del archivo de modelo en el comando de ejecución de la ruta de origen (directorio de montaje de OSS/NAS) a la ruta acelerada, para que la aplicación lea los modelos desde el directorio acelerado.

Ejemplo de JSON:

{
    "cloud": {
        "computing": {
            "instances": [
                {
                    "type": "ecs.gn6e-c12g1.3xlarge"
                }
            ]
        },
        "networking": {
            "security_group_id": "your-security-group-id",
            "vpc_id": "your-vpc-id",
            "vswitch_id": "your-vswitch-id"
        }
    },
    "containers": [
        {
            "image": "eas-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai-eas/vllm:0.11.2-py312-mows0.5.1",
            "port": 8000,
            "script": "vllm serve /mnt/data-fast/"
        }
    ],
    "metadata": {
        "cpu": 12,
        "disk": "30Gi",
        "gpu": 1,
        "instance": 1,
        "memory": 92000,
        "name": "vllm_test",
        "workspace_id": "your-workspace-id"
    },
    "storage": [
        {
            "oss": {
                "path": "oss://path/to/models/",
                "readOnly": false
            },
            "mount_path": "/mnt/data/"
        },
        {
            "cache": {
                "capacity": "10G",
                "path": "/mnt/data/",
                "cacheroot_service": "your-cacheroot-service"
            },
            "mount_path": "/mnt/data-fast/"
        }
    ]
}

Haga clic en Deploy.

Desplegar un servicio de precalentamiento de caché

Un servicio de precalentamiento de caché carga previamente los archivos de modelo en memoria y actúa como fuente de datos de alta velocidad para los servicios de inference con aceleración de caché habilitada. Resulta ideal para archivos de modelo grandes en OSS o NAS, como los de LLM, generación de imágenes con IA y generación de video con IA.

Importante

La ruta de OSS para la aceleración de caché en el servicio de inference debe coincidir exactamente con la ruta de OSS que monta el servicio de precalentamiento de caché. De lo contrario, el precalentamiento fallará.

Por ejemplo, si la ruta de OSS para la aceleración de caché en el servicio de inference es oss://path/to/models/, el servicio de precalentamiento también debe montar oss://path/to/models/.

En la pestaña Inference Service, haga clic en Deploy Service. En la sección Scenario-based Model Deployment, haga clic en Model Warm-up Cache Service Deployment.

Configure los siguientes parámetros clave y luego haga clic en Deploy.

Parámetro		Descripción
Basic Information	Deployment	Seleccione los recursos según el tamaño de memoria necesario.
Cache Configuration	Cache Path	Los directorios de modelos que se almacenarán en caché. Puede montar varias rutas.
Cache Configuration	Maximum Memory Usage	Obligatorio. La memoria máxima que puede utilizar el servicio de precalentamiento de caché.
Network Information	VPC	Obligatorio. Debe ser la misma VPC que la del servicio de inference. De lo contrario, el servicio de inference no podrá acceder al servicio de precalentamiento de caché.
Network Information	Associate NLB	Debe estar habilitado. De forma predeterminada, el sistema crea automáticamente un NLB.

Pruebas de rendimiento

Las siguientes pruebas muestran el rendimiento de la aceleración de caché de modelos. Los resultados reales pueden variar.

Qwen3-32B

Modelo: Qwen3-32B (62 GB)

Máquina: ml.gu8is.c64m512.4-gu60 | 64 núcleos, 512 GB + 4× GU60(48G) | L20

Modo de despliegue	Tiempo de carga del modelo	Velocidad de carga del modelo	Tiempo de disponibilidad del servicio
Estándar (sin aceleración de caché)	01:05	7.63 Gbit/s	01:43
Aceleración de arranque en frío (con precalentamiento de caché)	00:21	23.62 Gbit/s	01:01
Aceleración de escalado horizontal (con caché local)	00:18	27.55 Gbit/s	00:58

MiniMax-M2

Modelo: MiniMax-M2 (215 GB)

Máquina: ml.gu8tf.8.40xlarge | 160 vCPU + 1800 GB + 8×GU8T | H20 (96 GB)

Modo de despliegue	Tiempo de carga del modelo	Velocidad de carga del modelo	Tiempo de disponibilidad del servicio
Estándar (sin aceleración de caché)	06:42	4.28 Gbit/s	09:16
Aceleración de arranque en frío (con precalentamiento de caché)	01:49	15.78 Gbit/s	04:49
Aceleración de escalado horizontal (con caché local)	01:42	16.86 Gbit/s	04:34

DeepSeek-V3.2

Modelo: DeepSeek-V3.2 (643 GB)

Máquina: ml.gu8tef.8.46xlarge | 184 vCPU + 1800 GB + 8×GU8TE | H20-3e (141 GB)

Modo de despliegue	Tiempo de carga del modelo	Velocidad de carga del modelo	Tiempo de disponibilidad del servicio
Estándar (sin aceleración de caché)	12:33	6.83 Gbit/s	27:41
Aceleración de arranque en frío (con precalentamiento de caché)	02:43	31.56 Gbit/s	13:01
Aceleración de escalado horizontal (con caché local)	01:58	43.60 Gbit/s	12:49