Deploy Qwen-7B-Chat on an NVIDIA GPU - Alibaba Cloud Linux - Alibaba Cloud Dokümantasyon Merkezi

Alibaba Cloud AI Containers (AC2) kullanarak bir NVIDIA GPU üzerinde Qwen-7B-Chat yapay zekâ konteyner görüntüsünü dağıtın.

Genel Bilgiler

Qwen-7B, Alibaba Cloud tarafından geliştirilen Qwen büyük dil modeli (LLM) serisinin 7 milyar parametreli bir modelidir. Web metinleri, profesyonel kitaplar ve kod gibi geniş bir veri yelpazesi içeren devasa bir veri kümesi üzerinde ön eğitilmiş, Transformer tabanlı bir LLM'dir. Qwen-7B-Chat, temel Qwen-7B modeline hizalama teknikleri uygulanarak oluşturulan bir yapay zekâ asistanıdır.

Önemli

Qwen-7B-Chat'in kodu LICENSE altında açık kaynaklıdır. Ücretsiz ticari amaçlarla kullanmak için bir ticari lisans başvurusu göndermeniz gerekir. Kullandığınız tüm üçüncü taraf modeller için kullanıcı sözleşmelerine, kullanım şartlarına ve geçerli tüm yasa ve yönetmeliklere uymalısınız. Bu modelleri kullanımınızın yasallığını ve uyumluluğunu sağlamaktan yalnızca siz sorumlusunuz.

Adım 1: Bir ECS örneği oluşturun

Örnek satın alma sayfasına gidin.
Bir ECS örneği oluşturmak için parametreleri yapılandırın.

Aşağıdaki anahtar parametreleri ayarlayın. Diğer parametreler Özel başlatma bölümünde açıklanmıştır.
- Instance: Qwen-7B-Chat, 16 GiB'ten fazla GPU belleği gerektirir. En az ecs.gn6i-c4g1.xlarge seçin.
- Image: Alibaba Cloud Linux 3.2104 LTS 64-bit.
- Public IP Address: Assign Public IPv4 Address seçeneğini belirleyin. Model indirmelerini hızlandırmak için Bandwidth Billing Method değerini Pay-by-traffic olarak ve Maximum Bandwidth değerini 100 Mbps olarak ayarlayın.
- Data Disk: Qwen-7B-Chat model dosyaları önemli miktarda depolama alanı gerektirir. Veri disk boyutunu en az 100 GiB olarak ayarlayın.

Adım 2: Docker ortamını kurun

Docker'ı yükleyin.

Docker ve Docker Compose'u Yükleme ve Kullanma bölümündeki talimatları izleyerek Alibaba Cloud Linux 3 üzerine Docker yükleyin.
Docker daemon durumunu kontrol edin.
```
sudo systemctl status docker
```

NVIDIA sürücüsünü ve CUDA bileşenlerini yükleyin.

sudo dnf install -y anolis-epao-release
sudo dnf install -y kernel-devel-$(uname -r) nvidia-driver{,-cuda}

NVIDIA Container Toolkit'i yükleyin.

sudo dnf install -y nvidia-container-toolkit

NVIDIA Container Toolkit, GPU'ları konteynerlere açan bir ön başlangıç kancası ekler. Değişiklikleri uygulamak için Docker'ı yeniden başlatın.
```
sudo systemctl restart docker
```
Yeniden başlatmanın ardından, GPU passthrough işlemini belirtmek üzere konteynerler oluştururken --gpus <gpu-request> parametresini kullanın.
Bir PyTorch yapay zekâ konteyneri oluşturun ve çalıştırın.

AC2, yapay zekâ senaryoları için konteyner görüntüleri sağlar. Bir PyTorch çalışma zamanı ortamı oluşturmak için aşağıdaki görüntüyü kullanın.
```
sudo docker pull ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/pytorch:2.2.0.1-3.2304-cu121
sudo docker run -itd --name pytorch --gpus all --net host -v $HOME/workspace:/workspace   ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/pytorch:2.2.0.1-3.2304-cu121
```
Bu komutlar, görüntüyü çeker ve ev dizininiz konteynere bağlanmış şekilde pytorch adlı arka planda çalışan bir konteyner oluşturur.

Adım 3: Qwen-7B-Chat'i manuel olarak dağıtın

Konteyner içinde bir kabuk başlatın.
```
sudo docker exec -it -w /workspace pytorch /bin/bash
```
Sonraki tüm komutları konteyner içinde çalıştırın. Çıkarsanız, aynı komutla tekrar girin. Konteyner içinde olduğunuzdan emin olmak için cat /proc/1/cgroup | grep docker komutunu çalıştırın.
Gerekli yazılımları yükleyin.
```
yum install -y git git-lfs wget tmux
```
Git LFS'yi etkinleştirin.

Ön eğitimli model indirme işlemi Git LFS gerektirir.
```
git lfs install
```
Kaynak kodunu ve modeli indirin.
1. Yeni bir tmux oturumu başlatın.
```
tmux
```
  Model indirme işlemi uzun sürebilir. Bağlantı koparsa tmux attach ile devam edebilmeniz için tmux kullanın.
2. Qwen-7B kaynak kodunu ve ön eğitimli modeli indirin.
```
git clone https://github.com/QwenLM/Qwen.git
git clone https://www.modelscope.cn/qwen/Qwen-7B-Chat.git qwen-7b-chat --depth=1
```

Çalışma zamanı ortamını hazırlayın.

AC2 konteynerleri, önceden paketlenmiş Python yapay zekâ bağımlılıklarını içerir. Ek bağımlılıkları yum veya dnf kullanarak yükleyin.

dnf install -y python-einops     python3-datasets     python3-gradio     python3-mdtex2html     python3-protobuf     python3-psutil     python3-pyyaml     python3-rich     python3-scikit-learn     python3-scipy     python3-sentencepiece     python3-tensorboard     python3-tiktoken     python3-transformers     python3-transformers-stream-generator     yum-utils

AC2 görüntü bileşenlerinin üzerine yazılmasını önlemek için bazı bağımlılıkların manuel olarak yüklenmesi gerekir.

yumdownloader --destdir ./rpmpkgs python3-timm python3-accelerate
rpm -ivh --nodeps rpmpkgs/*.rpm && rm -rf rpmpkgs

Yapay zekâ sohbet botunu başlatın.

Sohbet botunu başlatın.

cd /workspace/Qwen
python3 cli_demo.py -c ../qwen-7b-chat

Başlatmanın ardından, Qwen-7B-Chat ile etkileşim kurmak için User: isteminde metin girin.

User: Who are you? What can you do?

Qwen-Chat: I am a large language model from Alibaba Cloud. I can answer questions, create text, express viewpoints, and write code. I am designed to interact with people in natural language and help users obtain information, solve problems, and complete tasks.
User>

Not

Sohbet botundan çıkmak için :exit komutunu girin.