Deploy the ChatGLM3-6B language model using an AMD AI container image - Alibaba Cloud Linux

Alibaba Cloud AI Containers (AC2) görüntülerini kullanarak ChatGLM3-6B dil modelini AMD tabanlı bir ECS örneğine dağıtın; çalışır bir örnek olarak bir sohbet botu kullanın.

Genel bilgiler

ChatGLM3, ChatGLM serisindeki en yeni açık kaynak model neslidir. ChatGLM3-6B, önceki sürümlerdeki akıcı konuşma akışını ve düşük dağıtım gereksinimlerini korurken daha güçlü bir temel model, daha geniş özellik desteği ve daha kapsamlı bir açık kaynak serisi ekler (ChatGLM3-6B açık kaynak deposu).

Adım 1: Bir ECS örneği oluşturun

Örnek oluşturma sayfasına gidin.
Örneği aşağıdaki anahtar parametrelerle yapılandırın.

Diğer tüm parametreler için Özel bir örnek oluşturun konusuna bakın.
- Instance: ChatGLM3-6B yaklaşık 30 GiB bellek gerektirir. Kararlı çalışma için en az ecs.g8a.4xlarge (64 GiB) seçin.
- Image: Alibaba Cloud Linux 3.2104 LTS 64-bit.
- Public IP: Assign Public IPv4 Address seçeneğini belirleyin. Faturalama yöntemini Pay-By-Traffic olarak ayarlayın ve model indirmelerini hızlandırmak için tepe bant genişliğini 100 Mbps olarak belirleyin.
- Data Disk: Model dosyaları önemli miktarda depolama alanı gerektirir. Veri diski boyutunu 100 GiB olarak ayarlayın.

Adım 2: Bir Docker çalışma zamanı ortamı oluşturun

Docker yükleyin.

Docker ve Docker Compose'u yükleyin ve kullanın konusunda açıklandığı gibi Alibaba Cloud Linux 3 üzerine Docker yükleyin.
Docker arka plan programının çalıştığını doğrulayın.
```
sudo systemctl status docker
```

AC2'den AMD için optimize edilmiş bir PyTorch konteyneri oluşturun ve çalıştırın.

AC2, AMD CPU'lar için optimize edilmiş PyTorch görüntüleri sunarak bir çalışma zamanı ortamını hızlıca kurmanızı sağlar.

sudo docker pull ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/pytorch-amd:1.13.1-3.2304-zendnn4.1
sudo docker run -itd --name pytorch-amd --net host -v $HOME/workspace:/workspace \
  ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/pytorch-amd:1.13.1-3.2304-zendnn4.1

Adım 3: ChatGLM3-6B'yi manuel olarak dağıtın

Konteyner ortamına girin.
```
sudo docker exec -it -w /workspace pytorch-amd /bin/bash
```
Sonraki tüm komutları konteyner içinde çalıştırın. Çıkarsanız yeniden girmek için önceki komutu tekrar çalıştırın. Konteynerde olduğunuzu doğrulamak için cat /proc/1/cgroup | grep docker komutunu çalıştırın; herhangi bir çıktı almanız konteyner ortamında olduğunuzu gösterir.
Gerekli araçları yükleyin.
```
yum install -y tmux git git-lfs wget
```
Git LFS'yi etkinleştirin.

Eğitim öncesi modeli indirmek için Git LFS gereklidir.
```
git lfs install
```
Kaynak kodunu ve modeli indirin.
1. Bir tmux oturumu başlatın.
```
tmux
```
  Not
  Model indirme işlemi zaman alır ve ağ bağlantısına bağlıdır. SSH bağlantınız kesilirse kesinti yaşanmaması için tmux kullanın.
2. ChatGLM3-6B kaynak kodunu ve eğitim öncesi modeli indirin.
```
git clone https://github.com/THUDM/ChatGLM3.git
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git --depth=1
```
3. İndirmeyi doğrulayın.
```
ls -l
```
  İndirme tamamlandığında dizin aşağıdaki içeriğe sahip olur.
```
[root@iZ2zexxxxxxxxxxxx workspace]# ls -l
total 8
drwxr-xr-x 12 root root 4096 Feb  6 09:35 ChatGLM3
drwxr-xr-x  3 root root 4096 Feb  6 09:57 chatglm3-6b
```
Python çalışma zamanı bağımlılıklarını yükleyin.

AC2 konteynerleri birçok Python yapay zeka bileşeniyle birlikte gelir. Kalan bağımlılıkları yüklemek için yum veya dnf kullanın.
```
yum install -y python3-{transformers,sentencepiece,protobuf,accelerate}
```

Bir sohbet botu konuşması başlatın.

Model yükleme parametrelerini değiştirin.

Kaynak kodu bir terminal sohbet botu betiği içerir. Çalıştırmadan önce modeli, CPU'nun AVX-512 komut setini hızlandırma amacıyla kullanan BF16 hassasiyeti ile yüklenecek şekilde yapılandırın.
```
cd /workspace/ChatGLM3/basic_demo
grep "import torch" cli_demo.py 2>&1 >/dev/null || sed -i "3i\import torch" cli_demo.py
sed -i 's/"auto")/"auto", torch_dtype=torch.bfloat16)/g' cli_demo.py
```

Sohbet botunu başlatın.

export MODEL_PATH="/workspace/chatglm3-6b"
python3 cli_demo.py

Başlatmanın ardından, ChatGLM3-6B ile gerçek zamanlı olarak sohbet etmek için User: isteminde metin girin.

[root@iz2ze*** basic_demo]# python3 cli_demo.py
Loading checkpoint shards: 100%|xxx|
Welcome to the ChatGLM3-6B model. Enter your input to start a conversation, enter clear to clear the conversation history, or enter stop to exit the program.

User: Who are you? What can you do?

ChatGLM: Hello, I am an AI assistant. I can answer your questions and help you solve problems. My capabilities include but are not limited to:

1. Answering questions: I can answer questions on history, science, mathematics, literature, and other topics.
2. Offering practical advice: Whether it is a small everyday issue or a difficult problem at work or in your studies, I will do my best to help.
3. Entertainment and leisure: I can chat with you, tell jokes, and share interesting topics to help you relax.

Note that although I try to provide accurate information and suggestions, my knowledge and capabilities are still limited. Exercise caution when you make important decisions. If you need anything, ask me at any time and I will be happy to help.

User:

Not

Sohbet botundan çıkmak için stop girin.