EAS: Configure model cache acceleration - Platform For AI: Central de Documentação do Alibaba Cloud

Como funciona

A aceleração de cache de modelo suporta os dois métodos a seguir:

Cache local: Armazena em cache os arquivos de modelo na memória ou no espaço em disco ocioso do service de inferência e os expõe como um diretório do sistema de arquivos. Este método é ideal para cenários de scale-out. Várias instâncias do mesmo serviço formam uma rede peer-to-peer (P2P), permitindo que novas instâncias obtenham dados diretamente de instâncias existentes com o cache populado, em vez de buscá-los no OSS ou NAS de origem.
Cache local + pré-aquecimento de cache: Expande o cache local ao implantar um serviço dedicado e separado para pré-aquecimento de cache, que pré-carrega os arquivos de modelo na memória. Essa abordagem é ideal para novas implantações e resolve o problema de cold start inerente ao cache local.

Importante
Somente o OSS oferece suporte a serviços de pré-aquecimento de cache.

Após a configuração, o sistema monta um caminho acelerado em cada instância do serviço de inferência. Sua aplicação lê os arquivos de modelo desse diretório sem necessidade de alterações no código. A prioridade de carregamento do modelo é a seguinte:

Cold start: O sistema tenta obter dados primeiro no serviço de pré-aquecimento de cache, se estiver configurado. Caso contrário, ele busca os dados do OSS ou NAS e os armazena em cache localmente.
Scale-out: O sistema prioriza um acerto no cache local (com suporte à evicção LRU). Em caso de falha no cache, ele tenta buscar dados no serviço de pré-aquecimento de cache. Se os dados ainda não forem encontrados, o sistema recorre ao OSS ou NAS de origem.

Observações

Para manter a consistência dos dados, o caminho acelerado montado é de somente leitura.
Para adicionar arquivos de modelo, adicione-os ao caminho de origem. O caminho acelerado lê automaticamente os novos arquivos da origem.
Não atualize nem exclua arquivos de modelo diretamente no caminho de origem. Atualizar ou excluir arquivos dessa forma pode fazer com que o cache forneça dados inconsistentes ou desatualizados.

Procedimento

Implantação personalizada

Faça logon no PAI console. selecione uma região na parte superior da página. Em seguida, selecione o workspace desejado e clique em Enter Elastic Algorithm Service (EAS).
clique em Deploy Service. Na seção Custom Model Deployment, clique em Custom Deployment.

Os parâmetros principais são os seguintes. Para obter detalhes sobre outros parâmetros, consulte custom deployment.

Na seção Environment Information, configure Mount storage para montar seus arquivos de modelo em um diretório do contêiner. Por exemplo, para montar arquivos do OSS:
- Uri: O caminho do OSS onde os arquivos de modelo estão localizados, como oss://path/to/models/.
- Mount Path: O caminho dentro do contêiner onde os arquivos são montados, como /mnt/data/.
- Cache acceleration: Ative esta opção para acelerar a leitura de modelos e o agendamento de scale-out.
  - Cache Medium: Selecione com base no tipo de recurso em uso.
    - Memory: Usa memória como meio de cache. Disponível para todos os tipos de recursos.
    - Disk: Usa disco como meio de cache. Suportado apenas em recursos de computação inteligente Lingjun.
  - Maximum Capacity: A capacidade máxima ocupada pelos arquivos acelerados, em GB. Quando esse limite é excedido, o sistema descarta dados com base em uma política LRU. O valor mínimo é 3G porque alguns parâmetros avançados de configuração padrão exigem capacidade maior que 3G para entrar em vigor. Certifique-se de reservar memória ou espaço em disco suficientes.
  - Accelerated Path: O caminho acelerado local para o cache de arquivos. Exemplo: /mnt/data-fast/.
  - Model Cache Prefetch Service (compatível apenas com o OSS): Selecione um serviço de pré-aquecimento de cache implantado. Essa opção é recomendada para novas implantações ou cenários que exigem cold starts rápidos, como aqueles que envolvem arquivos de modelo grandes ou scale-outs frequentes. Para usar essa opção, você deve primeiro implantar um serviço de pré-aquecimento de cache.
Na seção Environment Information, modifique o Command to Run. Altere o caminho do arquivo de modelo no comando execute, substituindo o caminho source pelo caminho acelerado. Por exemplo, ao implantar um serviço LLM:
```
vllm serve /mnt/data-fast/
```
Após configurar os parâmetros, clique em Deploy.

Implantação JSON

Faça logon no PAI console. selecione uma região na parte superior da página. Em seguida, selecione o workspace desejado e clique em Enter Elastic Algorithm Service (EAS).
Na página Elastic Algorithm Service (EAS), clique em Deploy Service. Na seção Custom Model Deployment, clique em JSON Deployment.

insira a configuração JSON. A tabela a seguir descreve os parâmetros relacionados à aceleração de cache de modelo. Para obter informações sobre outros parâmetros, consulte JSON deployment.

Parâmetro		Descrição
storage[0]	oss.path	O caminho do OSS onde os arquivos de modelo estão localizados. Exemplo: `oss://path/to/models/`.
storage[0]	mount_path	O caminho dentro do contêiner onde o OSS é montado. Exemplo: `/mnt/data/`.
storage[1]	cache.capacity	A capacidade máxima ocupada pelos arquivos acelerados, em GB. Quando esse limite é excedido, o sistema descarta dados com base em uma política LRU. O valor mínimo é 3G porque alguns parâmetros avançados de configuração padrão exigem capacidade maior que 3G para entrar em vigor. Certifique-se de reservar memória ou espaço em disco suficientes.
	cache.path	O diretório source dos arquivos a serem acelerados (o caminho do contêiner onde o OSS ou NAS é montado). Exemplo: `/mnt/data/`.
	cache_backend	O meio de cache. defina este parâmetro como `disk` para usar o cache em disco. Se este parâmetro não for especificado, a memória será usada como meio de cache.
	cache.cacheroot_service	O nome do serviço de pré-aquecimento de cache.
	mount_path	O caminho acelerado. Exemplo: `/mnt/data-fast/`.
containers.script		Altere o caminho do arquivo de modelo no comando execute, substituindo o caminho source (diretório de montagem do OSS/NAS) pelo caminho acelerado, para que a aplicação leia os modelos a partir do diretório acelerado.

Exemplo de JSON:

{
    "cloud": {
        "computing": {
            "instances": [
                {
                    "type": "ecs.gn6e-c12g1.3xlarge"
                }
            ]
        },
        "networking": {
            "security_group_id": "your-security-group-id",
            "vpc_id": "your-vpc-id",
            "vswitch_id": "your-vswitch-id"
        }
    },
    "containers": [
        {
            "image": "eas-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai-eas/vllm:0.11.2-py312-mows0.5.1",
            "port": 8000,
            "script": "vllm serve /mnt/data-fast/"
        }
    ],
    "metadata": {
        "cpu": 12,
        "disk": "30Gi",
        "gpu": 1,
        "instance": 1,
        "memory": 92000,
        "name": "vllm_test",
        "workspace_id": "your-workspace-id"
    },
    "storage": [
        {
            "oss": {
                "path": "oss://path/to/models/",
                "readOnly": false
            },
            "mount_path": "/mnt/data/"
        },
        {
            "cache": {
                "capacity": "10G",
                "path": "/mnt/data/",
                "cacheroot_service": "your-cacheroot-service"
            },
            "mount_path": "/mnt/data-fast/"
        }
    ]
}

clique em Deploy.

Implantar um serviço de pré-aquecimento de cache

Um serviço de pré-aquecimento de cache pré-carrega os arquivos de modelo na memória e atua como uma fonte de dados de alta velocidade para serviços de inferência com aceleração de cache ativada. Esse recurso é ideal para arquivos de modelo grandes no OSS ou no NAS, como os de LLMs e de geração de imagens e vídeos por IA.

Importante

O caminho do OSS para aceleração de cache no serviço de inferência deve corresponder exatamente ao caminho do OSS montado pelo serviço de pré-aquecimento de cache. Caso contrário, o pré-aquecimento de cache falhará.

Por exemplo, se o caminho do OSS para aceleração de cache no serviço de inferência for oss://path/to/models/, o serviço de pré-aquecimento de cache também deve montar oss://path/to/models/.

Na aba Inference Service, clique em Deploy Service. Na seção Scenario-based Model Deployment, clique em Model Warm-up Cache Service Deployment.

configure os parâmetros principais a seguir e, em seguida, clique em Deploy.

Parâmetro		Descrição
Basic Information	Deployment	Selecione os recursos com base no tamanho de memória necessário.
Cache Configuration	Cache Path	Os diretórios de modelo a serem armazenados em cache. Você pode montar vários caminhos.
Cache Configuration	Maximum Memory Usage	Obrigatório. A memória máxima que o serviço de pré-aquecimento de cache pode usar.
Network Information	VPC	Obrigatório. Esta deve ser a mesma VPC do serviço de inferência. Caso contrário, o serviço de inferência não poderá acessar o serviço de pré-aquecimento de cache.
Network Information	Associate NLB	Deve estar ativado. Por padrão, o sistema cria automaticamente um NLB.

Benchmarks de desempenho

Os benchmarks a seguir mostram o desempenho da aceleração de cache de modelo. Os resultados reais podem variar.

Qwen3-32B

Modelo: Qwen3-32B (62 GB)

Máquina: ml.gu8is.c64m512,4-gu60 | 64 núcleos 512 GB + 4× GU60(48G) | L20

Modo de implantação	Tempo de carregamento do modelo	Velocidade de carregamento do modelo	Tempo de prontidão do serviço
Padrão (sem aceleração de cache)	01:05	7,63 Gbit/s	01:43
Aceleração de cold start (com pré-aquecimento de cache)	00:21	23,62 Gbit/s	01:01
Aceleração de scale-out (com cache local)	00:18	27,55 Gbit/s	00:58

MiniMax-M2

Modelo: MiniMax-M2 (215 GB)

Máquina: ml.gu8tf.8.40xlarge | 160 vCPU + 1800 GB + 8×GU8T | H20 (96 GB)

Modo de implantação	Tempo de carregamento do modelo	Velocidade de carregamento do modelo	Tempo de prontidão do serviço
Padrão (sem aceleração de cache)	06:42	4,28 Gbit/s	09:16
Aceleração de cold start (com pré-aquecimento de cache)	01:49	15,78 Gbit/s	04:49
Aceleração de scale-out (com cache local)	01:42	16,86 Gbit/s	04:34

DeepSeek-V3.2

Modelo: DeepSeek-V3.2 (643 GB)

Máquina: ml.gu8tef.8.46xlarge | 184 vCPU + 1800 GB + 8×GU8TE | H20-3e (141 GB)

Modo de implantação	Tempo de carregamento do modelo	Velocidade de carregamento do modelo	Tempo de prontidão do serviço
Padrão (sem aceleração de cache)	12:33	6,83 Gbit/s	27:41
Aceleração de cold start (com pré-aquecimento de cache)	02:43	31,56 Gbit/s	13:01
Aceleração de scale-out (com cache local)	01:58	43,60 Gbit/s	12:49