Deploy Qwen-7B-Chat pada GPU NVIDIA - Alibaba Cloud Linux

Deploy gambar kontainer AI Qwen-7B-Chat pada GPU NVIDIA menggunakan Alibaba Cloud AI Containers (AC2).

Latar Belakang

Qwen-7B adalah model dengan 7 miliar parameter dalam seri model bahasa besar (LLM) Qwen yang dikembangkan oleh Alibaba Cloud. Model ini merupakan LLM berbasis Transformer yang telah menjalani pre-train pada dataset masif yang mencakup berbagai jenis data, termasuk teks web, buku profesional, dan kode. Qwen-7B-Chat adalah asisten AI yang dibuat dengan menerapkan teknik alignment pada model dasar Qwen-7B.

Penting

Kode untuk Qwen-7B-Chat bersifat open-source di bawah LICENSE. Untuk menggunakannya secara komersial tanpa biaya, Anda harus mengajukan permohonan lisensi komersial. Anda wajib mematuhi perjanjian pengguna, spesifikasi penggunaan, serta seluruh hukum dan peraturan yang berlaku terkait model pihak ketiga yang Anda gunakan. Anda sepenuhnya bertanggung jawab atas legalitas dan kepatuhan penggunaan model-model tersebut.

Langkah 1: Buat Instance ECS

Buka halaman pembelian instance.
Konfigurasikan parameter untuk membuat instance ECS.
Tetapkan parameter kunci berikut. Parameter lainnya dijelaskan dalam Custom launch.
- Instance: Qwen-7B-Chat memerlukan lebih dari 16 GiB Memori GPU. Pilih minimal ecs.gn6i-c4g1.xlarge.
- Image: Alibaba Cloud Linux 3.2104 LTS 64-bit.
- Public IP Address: Pilih Assign Public IPv4 Address. Atur Bandwidth Billing Method menjadi Pay-by-traffic dan Maximum Bandwidth menjadi 100 Mbps untuk mempercepat pengunduhan model.
- Data Disk: File model Qwen-7B-Chat memerlukan ruang penyimpanan yang signifikan. Atur ukuran data disk minimal 100 GiB.

Langkah 2: Siapkan lingkungan Docker

Instal Docker.
Instal Docker pada Alibaba Cloud Linux 3 dengan mengikuti panduan Install and use Docker and Docker Compose.
Periksa status daemon Docker.
```
sudo systemctl status docker
```

Instal driver NVIDIA dan komponen CUDA.

sudo dnf install -y anolis-epao-release
sudo dnf install -y kernel-devel-$(uname -r) nvidia-driver{,-cuda}

Instal NVIDIA Container Toolkit.

sudo dnf install -y nvidia-container-toolkit

NVIDIA Container Toolkit menambahkan prestart hook yang mengekspos GPU ke dalam kontainer. Restart Docker agar perubahan diterapkan.
```
sudo systemctl restart docker
```
Setelah restart, gunakan parameter --gpus <gpu-request> saat membuat kontainer untuk menentukan GPU passthrough.
Buat dan jalankan kontainer AI PyTorch.
AC2 menyediakan gambar kontainer untuk skenario AI. Gunakan gambar berikut untuk membuat lingkungan runtime PyTorch.
```
sudo docker pull ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/pytorch:2.2.0.1-3.2304-cu121
sudo docker run -itd --name pytorch --gpus all --net host -v $HOME/workspace:/workspace   ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/pytorch:2.2.0.1-3.2304-cu121
```
Perintah-perintah ini mengunduh gambar dan membuat kontainer detached bernama pytorch dengan direktori home Anda dimount ke dalam kontainer.

Langkah 3: Deploy Qwen-7B-Chat secara manual

Mulai shell di dalam kontainer.
```
sudo docker exec -it -w /workspace pytorch /bin/bash
```
Jalankan semua perintah berikutnya di dalam kontainer. Jika Anda keluar, masuk kembali dengan perintah yang sama. Untuk memverifikasi bahwa Anda berada di dalam kontainer, jalankan cat /proc/1/cgroup | grep docker.
Instal perangkat lunak yang diperlukan.
```
yum install -y git git-lfs wget tmux
```
Aktifkan Git LFS.
Pengunduhan model pre-train memerlukan Git LFS.
```
git lfs install
```
Unduh kode sumber dan model.
1. Buat sesi tmux baru.
```
tmux
```
  Pengunduhan model dapat memakan waktu lama. Gunakan tmux agar Anda dapat melanjutkan dengan tmux attach jika koneksi terputus.
2. Unduh kode sumber Qwen-7B dan model pre-train.
```
git clone https://github.com/QwenLM/Qwen.git
git clone https://www.modelscope.cn/qwen/Qwen-7B-Chat.git qwen-7b-chat --depth=1
```

Siapkan lingkungan runtime.

Kontainer AC2 sudah mencakup dependensi Python AI yang telah dipaketkan. Instal dependensi tambahan dengan yum atau dnf.

dnf install -y python-einops     python3-datasets     python3-gradio     python3-mdtex2html     python3-protobuf     python3-psutil     python3-pyyaml     python3-rich     python3-scikit-learn     python3-scipy     python3-sentencepiece     python3-tensorboard     python3-tiktoken     python3-transformers     python3-transformers-stream-generator     yum-utils

Beberapa dependensi harus diinstal secara manual untuk menghindari penimpaan komponen gambar AC2.

yumdownloader --destdir ./rpmpkgs python3-timm python3-accelerate
rpm -ivh --nodeps rpmpkgs/*.rpm && rm -rf rpmpkgs

Jalankan chatbot AI.

Jalankan chatbot.

cd /workspace/Qwen
python3 cli_demo.py -c ../qwen-7b-chat

Setelah startup, masukkan teks pada prompt User: untuk berinteraksi dengan Qwen-7B-Chat.

User: Who are you? What can you do?

Qwen-Chat: I am a large language model from Alibaba Cloud. I can answer questions, create text, express viewpoints, and write code. I am designed to interact with people in natural language and help users obtain information, solve problems, and complete tasks.
User>

Catatan

Masukkan perintah :exit untuk keluar dari chatbot.