ENS:エッジクラウドにおける QwQ-32B 推論サービスのベストプラクティス

インスタンスにログインする

インスタンスへのログイン方法については、「インスタンスに接続する」をご参照ください。

ディスクを初期化する

1. ルートディレクトリを展開します。

   インスタンスを作成またはサイズ変更した後、インスタンスを再起動せずにルートパーティションをオンラインで展開する必要があります。

   # クラウド環境ツールキットをインストールします。
   sudo apt-get update
   sudo apt-get install -y cloud-guest-utils
   
   # GPT パーティショニングツール sgdisk が存在することを確認します。
   type sgdisk || sudo apt-get install -y gdisk
   
   # 物理パーティションを展開します。
   sudo LC_ALL=en_US.UTF-8 growpart /dev/vda 3
   
   # ファイルシステムのサイズを変更します。
   sudo resize2fs /dev/vda3
   
   # サイズ変更の結果を確認します。
   df -h

   

2. データディスクをマウントします。

   データディスクをフォーマットしてマウントする必要があります。次のセクションでは、サンプルコマンドを示します。ビジネス要件に基づいてコマンドを実行してください。

   # 新しいディスクを識別します。
   lsblk
   
   # ディスクをパーティション分割せずにフォーマットします。
   sudo mkfs -t ext4 /dev/vdb
   
   # マウントを構成します。
   sudo mkdir /data
   echo "UUID=$(sudo blkid -s UUID -o value /dev/vdb) /data ext4 defaults,nofail 0 0" | sudo tee -a /etc/fstab
   
   # マウントを確認します。
   sudo mount -a
   df -hT /data
   
   # 権限を変更します。
   sudo chown $USER:$USER $MOUNT_DIR

   

   説明

   インスタンスに基づいてイメージを作成する場合は、/etc/fstab ファイルから ext4 defaults 0 0 行を削除する必要があります。そうしないと、イメージに基づいて作成されたインスタンスを起動できません。

CUDA をインストールする

CUDA のインストール方法については、「CUDA Toolkit 12.4 ダウンロード」をご参照ください。

# CUDA Toolkit をインストールします。
wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_570.124.06_linux.run
chmod +x cuda_12.4.0_570.124.06_linux.run

# この手順には時間がかかり、GUI との対話が必要です。
sudo sh cuda_12.4.0_570.124.06_linux.run

# 環境変数を追加します。
vim ~/.bashrc
export PATH="$PATH:/usr/local/cuda-12.8/bin"
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/local/cuda-12.8/lib64"
source ~/.bashrc

# インストールが成功したかどうかを確認します。
nvcc  -V
nvidia-smi

補助ソフトウェアをインストールする（オプション）

uv は、Python 仮想環境と依存関係を管理するための優れたツールであり、複数のモデルを実行する必要があるクラスターに適しています。uv のインストール方法については、「uv のインストール」をご参照ください。

# uv をインストールします。デフォルトでは、uv は ~/.local/bin/ にインストールされます。
curl -LsSf https://astral.sh/uv/install.sh | sh

# ~/.bashrc を編集します。
export PATH="$PATH:~/.local/bin"

source ~/.bashrc

# クリーンな venv 環境を作成します
uv venv myenv --python 3.12 --seed
source myenv/bin/activate

uv をインストールした後に構成した CUDA 環境変数が無効になり、nvcc\nvidia-smi が見つからない場合は、次の操作を実行します。

vim myenv/bin/activate 
追加
export PATH="$PATH:/usr/local/cuda-12.8/bin"
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/local/cuda-12.8/lib64"
export PATH の後

# vLLM と ModelScope をインストールします。
uv pip install vllm==0.7.2
uv pip install modelscope

# GPU 監視ツール。NVIDIA が提供するデフォルトツール System Management Interface（SMI）を使用することもできます。
uv pip install nvitop

QwQ-32B モデルと vLLM ベンチマークスクリプトをダウンロードする

# 容量不足によるエラーを回避するために、モデルをデータディスク /data にダウンロードします。
mkdir -p /data/Qwen/QwQ-32B
cd /data/Qwen/QwQ-32B
modelscope download --model Qwen/QwQ-32B --local_dir .

# オプション。データセットをダウンロードします。
wget https://www.modelscope.cn/datasets/gliang1001/ShareGPT_V3_unfiltered_cleaned_split/resolve/master/ShareGPT_V3_unfiltered_cleaned_split.json

# 必要に応じて git をインストールします。
apt update
apt install git -y

# テストスクリプトを含む vllm.git をダウンロードします。
git clone https://github.com/vllm-project/vllm.git

vLLM サーバーを起動する

vllm serve /data/Qwen/QwQ-32B/ \
  --host 127.0.0.1 \
  --port 8080 \
  --tensor-parallel-size 2 \
  --trust-remote-code \
  --served-model-name qw \
  --gpu-memory-utilization 0.95 \
  --enforce-eage \
  --max-num-batched-Tokens 8192 \
  --max-model-len 8192 \
  --enable-prefix-caching 

テストを開始する

python3 ./vllm/benchmarks/benchmark_serving.py --backend vllm --served-model-name qw --model /data/Qwen/QwQ-32B --dataset-name random --random-input 1024 --random-output 4096 --random-range-ratio 1 --max-concurrency 4 --num-prompts 10 --host 127.0.0.1 --port 8080 --save-result --result-dir /data/logs/ --result-filename QwQ-32B-4-1-4.log

テストを完了する

次の表に、テスト結果を示します。