Implantar o modelo de linguagem ChatGLM3-6B usando uma imagem de contêiner de IA AMD - Alibaba Cloud Linux: Central de Documentação do Alibaba Cloud

Implante o modelo de linguagem ChatGLM3-6B em uma instância ECS baseada em AMD usando imagens do Alibaba Cloud AI Containers (AC2), tendo um chatbot como exemplo funcional.

Informações básicas

O ChatGLM3 é a geração mais recente de modelos open source da série ChatGLM. O ChatGLM3-6B mantém a fluidez nas conversas e os baixos requisitos de implantação das versões anteriores, além de adicionar um modelo base mais robusto, suporte a recursos mais amplos e uma série open source mais abrangente (Repositório open source do ChatGLM3-6B).

Etapa 1: Crie uma instância ECS

Acesse a página de criação de instância.
Configure a instância com os seguintes parâmetros principais.

Para todos os outros parâmetros, siga Create a custom instance.
- Instance: O ChatGLM3-6B requer cerca de 30 GiB de memória. Selecione pelo menos ecs.g8a.4xlarge (64 GiB) para garantir operação estável.
- Image: Alibaba Cloud Linux 3.2104 LTS 64 bits.
- Public IP: Marque Assign Public IPv4 Address. Defina o método de faturamento como Pay-By-Traffic com largura de banda de pico de 100 Mbps para acelerar o download do modelo.
- Data Disk: Os arquivos do modelo exigem armazenamento significativo. Defina o tamanho do disco de dados como 100 GiB.

Etapa 2: Crie um ambiente de execução Docker

Instale o Docker.

Instale o Docker no Alibaba Cloud Linux 3 conforme descrito em Install and use Docker and Docker Compose.
Verifique se o daemon do Docker está em execução.
```
sudo systemctl status docker
```

Crie e execute um contêiner PyTorch otimizado para AMD a partir do AC2.

O AC2 fornece imagens PyTorch otimizadas para CPUs AMD, permitindo configurar rapidamente um ambiente de execução.

sudo docker pull ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/pytorch-amd:1.13.1-3.2304-zendnn4.1
sudo docker run -itd --name pytorch-amd --net host -v $HOME/workspace:/workspace \
  ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/pytorch-amd:1.13.1-3.2304-zendnn4.1

Etapa 3: Implantar o ChatGLM3-6B manualmente

Entre no ambiente do contêiner.
```
sudo docker exec -it -w /workspace pytorch-amd /bin/bash
```
Execute todos os comandos subsequentes dentro do contêiner. Caso saia, execute novamente o comando anterior para retornar. Para confirmar que está no contêiner, execute cat /proc/1/cgroup | grep docker — qualquer saída confirma o ambiente do contêiner.
Instale as ferramentas necessárias.
```
yum install -y tmux git git-lfs wget
```
Ative o Git LFS.

O Git LFS é necessário para baixar o modelo pré-treinado.
```
git lfs install
```
Baixe o código-fonte e o modelo.
1. Inicie uma sessão tmux.
```
tmux
```
  Nota
  O download do modelo consome tempo e depende da rede. Use o tmux para evitar interrupções caso sua conexão SSH caia.
2. Baixe o código-fonte do ChatGLM3-6B e o modelo pré-treinado.
```
git clone https://github.com/THUDM/ChatGLM3.git
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git --depth=1
```
3. Verifique o download.
```
ls -l
```
  Após o download, o diretório contém o seguinte:
```
[root@iZ2zexxxxxxxxxxxx workspace]# ls -l
total 8
drwxr-xr-x 12 root root 4096 Feb  6 09:35 ChatGLM3
drwxr-xr-x  3 root root 4096 Feb  6 09:57 chatglm3-6b
```
Instale as dependências de execução do Python.

Os contêineres AC2 incluem muitos componentes de IA em Python. Use yum ou dnf para instalar as dependências restantes.
```
yum install -y python3-{transformers,sentencepiece,protobuf,accelerate}
```

Execute uma conversa com o chatbot.

Modifique os parâmetros de carregamento do modelo.

O código-fonte inclui um script de chatbot para terminal. Antes de executá-lo, configure o modelo para carregar com precisão BF16, usando o conjunto de instruções AVX-512 da CPU para aceleração.
```
cd /workspace/ChatGLM3/basic_demo
grep "import torch" cli_demo.py 2>&1 >/dev/null || sed -i "3i\import torch" cli_demo.py
sed -i 's/"auto")/"auto", torch_dtype=torch.bfloat16)/g' cli_demo.py
```

Inicie o chatbot.

export MODEL_PATH="/workspace/chatglm3-6b"
python3 cli_demo.py

Após a inicialização, insira texto no prompt User: para conversar com o ChatGLM3-6B em tempo real.

[root@iz2ze*** basic_demo]# python3 cli_demo.py
Loading checkpoint shards: 100%|xxx|
Welcome to the ChatGLM3-6B model. Enter your input to start a conversation, enter clear to clear the conversation history, or enter stop to exit the program.

User: Who are you? What can you do?

ChatGLM: Hello, I am an AI assistant. I can answer your questions and help you solve problems. My capabilities include but are not limited to:

1. Answering questions: I can answer questions on history, science, mathematics, literature, and other topics.
2. Offering practical advice: Whether it is a small everyday issue or a difficult problem at work or in your studies, I will do my best to help.
3. Entertainment and leisure: I can chat with you, tell jokes, and share interesting topics to help you relax.

Note that although I try to provide accurate information and suggestions, my knowledge and capabilities are still limited. Exercise caution when you make important decisions. If you need anything, ask me at any time and I will be happy to help.

User:

Nota

Insira stop para sair do chatbot.