EAS : Configurer l'accélération du cache de modèles - Platform For AI

Fonctionnement

L'accélération du cache de modèles prend en charge les deux méthodes suivantes :

Cache local : Met en cache les fichiers de modèle dans la mémoire ou le disque inutilisé du service d'inférence, en les exposant sous forme de répertoire de système de fichiers. Cette méthode est idéale pour les scénarios de mise à l'échelle horizontale. Plusieurs instances du même service forment un réseau peer-to-peer (P2P), permettant aux nouvelles instances de récupérer les données directement depuis les instances existantes disposant d'un cache rempli, au lieu de les extraire depuis la source OSS ou NAS.
Cache local + préchauffage du cache : S'appuie sur le cache local en déployant un service de préchauffage du cache dédié et distinct qui précharge les fichiers de modèle en mémoire. Cette approche est idéale pour les nouveaux déploiements et résout le problème de démarrage à froid inhérent à la mise en cache locale.

Important
Seul OSS prend en charge les services de préchauffage du cache.

Après configuration, le système monte un chemin accéléré sur chaque instance de service d'inférence. Votre application lit les fichiers de modèle depuis ce répertoire sans aucune modification de code. La priorité de chargement des modèles est la suivante :

Démarrage à froid : Le système tente d'abord de récupérer les données depuis le service de préchauffage du cache, s'il est configuré. Sinon, il extrait les données depuis OSS ou NAS et les met en cache localement.
Mise à l'échelle horizontale : Le système privilégie un hit dans le cache local (l'éviction LRU est prise en charge). En cas d'échec du cache, il tente de récupérer les données depuis le service de préchauffage du cache. Si les données ne sont toujours pas trouvées, il se rabat sur la source OSS ou NAS.

Remarques

Pour maintenir la cohérence des données, le chemin accéléré monté est en lecture seule.
Pour ajouter des fichiers de modèle, ajoutez-les au chemin source. Le chemin accéléré lit automatiquement les nouveaux fichiers depuis la source.
Ne mettez pas à jour ni ne supprimez directement les fichiers de modèle dans le chemin source. La mise à jour ou la suppression de fichiers de cette manière peut entraîner la diffusion de données incohérentes ou obsolètes par le cache.

Procédure

Déploiement personnalisé

Connectez-vous à la PAI console. Sélectionnez une région en haut de la page. Ensuite, sélectionnez l'espace de travail souhaité et cliquez sur Enter Elastic Algorithm Service (EAS).
Cliquez sur Deploy Service. Dans la section Custom Model Deployment, cliquez sur Custom Deployment.
Les paramètres clés sont les suivants. Pour plus de détails sur les autres paramètres, consultez la rubrique déploiement personnalisé.
1. Dans la section Environment Information, configurez Mount storage pour monter vos fichiers de modèle dans un répertoire de conteneur. Par exemple, pour monter des fichiers depuis OSS :
  - Uri : Le chemin OSS où se trouvent les fichiers de modèle, par exemple oss://path/to/models/.
  - Mount Path : Le chemin à l'intérieur du conteneur où les fichiers sont montés, par exemple /mnt/data/.
  - Cache acceleration : Activez cette option pour accélérer la lecture des modèles et la planification de la mise à l'échelle horizontale.
    - Cache Medium : Sélectionnez en fonction du type de ressource utilisé.
      - Memory : Utilise la mémoire comme support de cache. Disponible pour tous les types de ressources.
      - Disk : Utilise le disque comme support de cache. Pris en charge uniquement sur les ressources de calcul intelligent Lingjun.
    - Maximum Capacity : La capacité maximale occupée par les fichiers accélérés, en Go. Lorsque cette limite est dépassée, le système évince les données selon une politique LRU. La valeur minimale est de 3 Go, car certains paramètres de configuration avancée par défaut nécessitent une capacité supérieure à 3 Go pour prendre effet. Assurez-vous de réserver suffisamment d'espace mémoire ou disque.
    - Accelerated Path : Le chemin accéléré local pour la mise en cache des fichiers. Exemple : /mnt/data-fast/.
    - Model Cache Prefetch Service (pris en charge uniquement pour OSS) : Sélectionnez un service de préchauffage du cache déployé. Cette option est recommandée pour les nouveaux déploiements ou les scénarios nécessitant des démarrages à froid rapides, tels que ceux impliquant des fichiers de modèle volumineux ou des mises à l'échelle horizontales fréquentes. Pour utiliser cette option, vous devez d'abord déployer un service de préchauffage du cache.
2. Dans la section Environment Information, modifiez Command to Run. Remplacez le chemin du fichier de modèle dans la commande par le chemin accéléré au lieu du chemin source. Par exemple, lors du déploiement d'un service LLM :
```
vllm serve /mnt/data-fast/
```
Après avoir configuré les paramètres, cliquez sur Deploy.

Déploiement JSON

Connectez-vous à la PAI console. Sélectionnez une région en haut de la page. Ensuite, sélectionnez l'espace de travail souhaité et cliquez sur Enter Elastic Algorithm Service (EAS).
Sur la page Elastic Algorithm Service (EAS), cliquez sur Deploy Service. Dans la section Custom Model Deployment, cliquez sur JSON Deployment.

Saisissez la configuration JSON. Le tableau suivant décrit les paramètres liés à l'accélération du cache de modèles. Pour plus d'informations sur les autres paramètres, consultez la rubrique déploiement JSON.

Paramètre		Description
storage[0]	oss.path	Le chemin OSS où se trouvent les fichiers de modèle. Exemple : `oss://path/to/models/`.
storage[0]	mount_path	Le chemin à l'intérieur du conteneur où OSS est monté. Exemple : `/mnt/data/`.
storage[1]	cache.capacity	La capacité maximale occupée par les fichiers accélérés, en Go. Lorsque cette limite est dépassée, le système évince les données selon une politique LRU. La valeur minimale est de 3 Go, car certains paramètres de configuration avancée par défaut nécessitent une capacité supérieure à 3 Go pour prendre effet. Assurez-vous de réserver suffisamment d'espace mémoire ou disque.
	cache.path	Le répertoire source des fichiers à accélérer (le chemin du conteneur où OSS ou NAS est monté). Exemple : `/mnt/data/`.
	cache_backend	Le support de cache. Définissez cette valeur sur `disk` pour utiliser le cache disque. Si ce paramètre n'est pas spécifié, la mémoire est utilisée comme support de cache.
	cache.cacheroot_service	Le nom du service de préchauffage du cache.
	mount_path	Le chemin accéléré. Exemple : `/mnt/data-fast/`.
containers.script		Remplacez le chemin du fichier de modèle dans la commande d'exécution par le chemin accéléré au lieu du chemin source (répertoire de montage OSS/NAS), afin que l'application lise les modèles depuis le répertoire accéléré.

Exemple JSON :

{
    "cloud": {
        "computing": {
            "instances": [
                {
                    "type": "ecs.gn6e-c12g1.3xlarge"
                }
            ]
        },
        "networking": {
            "security_group_id": "your-security-group-id",
            "vpc_id": "your-vpc-id",
            "vswitch_id": "your-vswitch-id"
        }
    },
    "containers": [
        {
            "image": "eas-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai-eas/vllm:0.11.2-py312-mows0.5.1",
            "port": 8000,
            "script": "vllm serve /mnt/data-fast/"
        }
    ],
    "metadata": {
        "cpu": 12,
        "disk": "30Gi",
        "gpu": 1,
        "instance": 1,
        "memory": 92000,
        "name": "vllm_test",
        "workspace_id": "your-workspace-id"
    },
    "storage": [
        {
            "oss": {
                "path": "oss://path/to/models/",
                "readOnly": false
            },
            "mount_path": "/mnt/data/"
        },
        {
            "cache": {
                "capacity": "10G",
                "path": "/mnt/data/",
                "cacheroot_service": "your-cacheroot-service"
            },
            "mount_path": "/mnt/data-fast/"
        }
    ]
}

Cliquez sur Deploy.

Déployer un service de préchauffage du cache

Un service de préchauffage du cache précharge les fichiers de modèle en mémoire et sert de source de données haute vitesse pour les services d'inférence avec accélération du cache activée. Cette solution est idéale pour les fichiers de modèle volumineux sur OSS ou NAS, tels que ceux utilisés pour les LLM, la génération d'images IA et la génération de vidéos IA.

Important

Le chemin OSS pour l'accélération du cache dans le service d'inférence doit correspondre exactement au chemin OSS monté par le service de préchauffage du cache. Sinon, le préchauffage du cache échouera.

Par exemple, si le chemin OSS pour l'accélération du cache dans le service d'inférence est oss://path/to/models/, le service de préchauffage du cache doit également monter oss://path/to/models/.

Dans l'onglet Inference Service, cliquez sur Deploy Service. Dans la section Scenario-based Model Deployment, cliquez sur Model Warm-up Cache Service Deployment.

Configurez les paramètres clés suivants, puis cliquez sur Deploy.

Paramètre		Description
Basic Information	Deployment	Sélectionnez les ressources en fonction de la taille de mémoire requise.
Cache Configuration	Cache Path	Les répertoires de modèles à mettre en cache. Vous pouvez monter plusieurs chemins.
Cache Configuration	Maximum Memory Usage	Obligatoire. La mémoire maximale que le service de préchauffage du cache peut utiliser.
Network Information	VPC	Obligatoire. Ce VPC doit être identique à celui du service d'inférence. Sinon, le service d'inférence ne pourra pas accéder au service de préchauffage du cache.
Network Information	Associate NLB	Doit être activé. Par défaut, le système crée automatiquement un NLB.

Références de performances

Les références suivantes illustrent les performances de l'accélération du cache de modèles. Les résultats réels peuvent varier.

Qwen3-32B

Modèle : Qwen3-32B (62 Go)

Machine : ml.gu8is.c64m512,4-gu60 | 64 cœurs 512 Go + 4× GU60(48G) | L20

Mode de déploiement

Temps de chargement du modèle

Vitesse de chargement du modèle

Temps de disponibilité du service

Standard (sans accélération du cache)