Container Service for Kubernetes:Quickly deploy a large language model inference service in ACK

Etapa 1: Baixe os arquivos do modelo

1. Instale o Git e o Git Large File Storage (LFS). macOS

   brew install git
   brew install git-lfs

   Windows Baixe e instale o Git no site oficial do Git. O Git Large File Storage vem integrado ao Git for Windows — baixe a versão mais recente. Linux (baseado em Red Hat)

   yum install git
   yum install git-lfs

   Para outras distribuições Linux, consulte o site oficial do Git.

2. Clone o repositório do modelo Qwen1.5-4B-Chat e obtenha os arquivos grandes:

   GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/qwen/Qwen1.5-4B-Chat.git
   cd Qwen1.5-4B-Chat
   git lfs pull

Etapa 2: Envie os arquivos do modelo para o OSS

1. Instale e configure o ossutil.

2. Crie um bucket. Para reduzir a latência de carregamento do modelo, crie o bucket na mesma região do cluster:

   ossutil mb oss://<your-bucket-name>

3. Crie uma pasta no bucket para os arquivos do modelo:

   ossutil mkdir oss://<your-bucket-name>/Qwen1.5-4B-Chat

4. Envie os arquivos do modelo:

   ossutil cp -r ./Qwen1.5-4B-Chat oss://<your-bucket-name>/Qwen1.5-4B-Chat

Etapa 3: Configure um volume persistente (PV)

1. Faça login no console do ACK e clique em no cluster desejado. No painel de navegação à esquerda, escolha Volumes > Persistent Volumes.

2. Clique em Create. Na caixa de diálogo Create PV, defina os parâmetros a seguir e clique em Create:

   Parâmetro	Valor
   PV type	OSS
   Volume name	llm-model
   Capacity	20Gi
   Access mode	ReadOnlyMany
   Access certificate	Selecione Create Secret
   Optional parameters	-o umask=022 -o max_stat_cache_size=0 -o allow_other
   Bucket ID	Clique em Select Bucket e selecione seu bucket
   OSS path	/Qwen1.5-4B-Chat
   Endpoint	Selecione Public Endpoint

Etapa 4: Configure uma solicitação de volume persistente (PVC)

1. No painel de navegação à esquerda, escolha Volumes > Persistent Volume Claims.

2. Na página Persistent Volume Claims, defina os parâmetros a seguir e clique em Create:

   Parâmetro	Valor
   PVC type	OSS
   Name	llm-model
   Allocation mode	Selecione Existing Volumes
   Existing volumes	Selecione o PV llm-model criado na etapa anterior
   Capacity	20Gi

Etapa 5: Implante o serviço de inferência

Execute o comando do Arena para implantar o serviço. A flag --data monta o PVC com os arquivos de modelo pré-carregados. Como o modelo já está no volume montado, o pod inicia sem precisar baixar nada:

arena serve custom \
    --name=modelscope \
    --version=v1 \
    --gpus=1 \
    --replicas=1 \
    --restful-port=8000 \
    --readiness-probe-action="tcpSocket" \
    --readiness-probe-action-option="port: 8000" \
    --readiness-probe-option="initialDelaySeconds: 30" \
    --readiness-probe-option="periodSeconds: 30" \
    --data=llm-model:/Qwen1.5-4B-Chat \
    --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/quick-deploy-llm:v1 \
    "MODEL_ID=/Qwen1.5-4B-Chat python3 server.py"

A saída a seguir confirma o envio do serviço de inferência:

service/modelscope-v1 created
deployment.apps/modelscope-v1-custom-serving created
INFO[0001] The Job modelscope has been submitted successfully
INFO[0001] You can run `arena serve get modelscope --type custom-serving -n default` to check the job status

Verifique o status do serviço:

arena serve get modelscope

Quando o status do pod mostrar Running, o serviço de inferência estará pronto.

# Delete the inference service
arena serve del modelscope

# Delete the PVC and PV (Option 2 only)
kubectl delete pvc llm-model
kubectl delete pv llm-model

Como obter arquivos de modelo do Hugging Face em vez do ModelScope?

Certifique-se de que o runtime do contêiner consiga acessar o repositório do Hugging Face e defina MODEL_SOURCE=Huggingface no comando do Arena. O nó de GPU precisa de pelo menos 30 GB de espaço livre em disco para acomodar os arquivos baixados:

arena serve custom \
    --name=huggingface \
    --version=v1 \
    --gpus=1 \
    --replicas=1 \
    --restful-port=8000 \
    --readiness-probe-action="tcpSocket" \
    --readiness-probe-action-option="port: 8000" \
    --readiness-probe-option="initialDelaySeconds: 30" \
    --readiness-probe-option="periodSeconds: 30" \
    --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/quick-deploy-llm:v1 \
    "MODEL_ID=Qwen/Qwen1.5-4B-Chat MODEL_SOURCE=Huggingface python3 server.py"

A saída a seguir confirma a criação dos recursos:

service/huggingface-v1 created
deployment.apps/huggingface-v1-custom-serving created
INFO[0003] The Job huggingface has been submitted successfully
INFO[0003] You can run `arena serve get huggingface --type custom-serving -n default` to check the job status

Obter modelos do Hugging Face

1. Certifique-se de que o ambiente de runtime do contêiner possa acessar o repositório do Hugging Face.

2. Use o cliente Arena para implantar um serviço personalizado e especifique a imagem do contêiner para implantação usando o parâmetro --image. Para obter mais informações sobre os parâmetros, consulte Referência de parâmetros de comando.

   Este método baixa os arquivos de modelo do Hugging Face para dentro do contêiner. Certifique-se de que seu nó de GPU tenha pelo menos 30 GB de espaço em disco disponível.

   arena serve custom \
       --name=huggingface \
       --version=v1 \
       --gpus=1 \
       --replicas=1 \
       --restful-port=8000 \
       --readiness-probe-action="tcpSocket" \
       --readiness-probe-action-option="port: 8000" \
       --readiness-probe-option="initialDelaySeconds: 30" \
       --readiness-probe-option="periodSeconds: 30" \
       --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/quick-deploy-llm:v1 \
       "MODEL_ID=Qwen/Qwen1.5-4B-Chat MODEL_SOURCE=Huggingface python3 server.py"

   A saída a seguir indica a criação dos recursos do Kubernetes para o serviço de inferência huggingface-v1:

   service/huggingface-v1 created
   deployment.apps/huggingface-v1-custom-serving created
   INFO[0003] The Job huggingface has been submitted successfully 
   INFO[0003] You can run `arena serve get huggingface --type custom-serving -n default` to check the job status