ENS:エッジクラウド上への QwQ-32B 推論モデルのデプロイ

オプション A：ENS コンソールを使用する

1. ENS コンソール にログインします。

2. 左側ナビゲーションウィンドウで、リソースとイメージ > インスタンス を選択します。

3. インスタンス ページで、インスタンスの作成 をクリックします。詳細については、「インスタンスの作成」をご参照ください。

4. 以下の設定でインスタンスを構成します。

   ステップ	パラメーター	推奨値
   基本構成	課金方法	サブスクリプション
   	インスタンスタイプ	x86 コンピューティング
   	インスタンス仕様	NVIDIA 48GB × 2。詳細な仕様については、カスタマーマネージャーまでお問い合わせください。
   	イメージ	Ubuntu、ubuntu_22_04_x64_20G_alibase_20240926
   ネットワークおよびストレージ	ネットワーク	自社構築ネットワーク
   	システムディスク	Ultra Disk、80 GB 以上
   	データディスク	Ultra Disk、1 TB 以上
   システム設定	パスワードの設定	カスタムキーまたはキーペア

5. 右下隅の 注文の確認 をクリックし、支払いを完了します。

支払い後、ページは ENS コンソールにリダイレクトされます。インスタンスのステータスが 実行中 に変更された時点で、インスタンスの準備が完了します。

オプション B：RunInstances API を呼び出す

OpenAPI ポータル で RunInstances 操作を呼び出します。以下は参考となる JSON パラメーターです。

{
  "InstanceType": "ens.gnxxxx",                    // インスタンスタイプ
  "InstanceChargeType": "PrePaid",
  "ImageId": "ubuntu_22_04_x64_20G_alibase_20240926",
  "ScheduleAreaLevel": "Region",
  "EnsRegionId": "cn-your-ens-region",             // エッジノード
  "Password": "<YOURPASSWORD>",                    // パスワード
  "InternetChargeType": "95BandwidthByMonth",
  "SystemDisk": {
    "Size": 80,
    "Category": "cloud_efficiency"
  },
  "DataDisk": [
    {
      "Category": "cloud_efficiency",
      "Size": 1024
    }
  ],
  "InternetMaxBandwidthOut": 5000,
  "Amount": 1,
  "NetWorkId": "n-xxxxxxxxxxxxxxx",
  "VSwitchId": "vsw-xxxxxxxxxxxxxxx",
  "InstanceName": "test",
  "HostName": "test",
  "PublicIpIdentification": true,
  "InstanceChargeStrategy": "instance"             // インスタンス単位での課金
}

インスタンスへのログイン

詳細については、「インスタンスへの接続」をご参照ください。

ルートパーティションの拡張

インスタンスの作成またはサイズ変更後に、再起動せずにオンラインでルートパーティションを拡張できます。

# クラウド環境ツールキットをインストールします。
sudo apt-get update
sudo apt-get install -y cloud-guest-utils

# GPT パーティショニングツール sgdisk が存在することを確認します。
type sgdisk || sudo apt-get install -y gdisk

# 物理パーティションを拡張します。
sudo LC_ALL=en_US.UTF-8 growpart /dev/vda 3

# ファイルシステムをリサイズします。
sudo resize2fs /dev/vda3

# 結果を確認します。
df -h

データディスクのマウント

データディスクをフォーマットしてマウントします。コマンドはご利用の環境に応じて調整してください。

# 新しいディスクを特定します。
lsblk

# パーティションを分割せずにディスクをフォーマットします。
sudo mkfs -t ext4 /dev/vdb

# マウント設定を行います。
sudo mkdir /data
echo "UUID=$(sudo blkid -s UUID -o value /dev/vdb) /data ext4 defaults,nofail 0 0" | sudo tee -a /etc/fstab

# マウントを確認します。
sudo mount -a
df -hT /data

# 権限を変更します。
sudo chown $USER:$USER /data

CUDA のインストール

詳細については、「CUDA Toolkit 12.4 ダウンロード」をご参照ください。

# CUDA Toolkit をダウンロードします。
wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_570.124.06_linux.run
chmod +x cuda_12.4.0_570.124.06_linux.run

# インストーラーを実行します。このステップには数分かかり、インタラクティブな入力が必要です。
sudo sh cuda_12.4.0_570.124.06_linux.run

# 環境変数を ~/.bashrc に追加します。
export PATH="$PATH:/usr/local/cuda-12.8/bin"
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/local/cuda-12.8/lib64"
source ~/.bashrc

# インストールを確認します。
nvcc -V
nvidia-smi

補助ソフトウェアのインストール（任意）

uv は Python 仮想環境および依存関係管理ツールであり、複数のモデルを実行するクラスターで有用です。詳細については、「uv のインストール」をご参照ください。

# uv をインストールします。デフォルトでは、uv は ~/.local/bin/ にインストールされます。
curl -LsSf https://astral.sh/uv/install.sh | sh

# ~/.bashrc に uv を PATH に追加します。
export PATH="$PATH:~/.local/bin"
source ~/.bashrc

# 仮想環境を作成します。
uv venv myenv --python 3.12 --seed
source myenv/bin/activate

仮想環境を有効化した後に CUDA の環境変数が無効になる場合（例： nvcc や nvidia-smi が見つからない）、アクティベーションスクリプトに CUDA のパスを追加してください：

# myenv/bin/activate を編集し、既存の export PATH 文の後に以下の行を追加します：
export PATH="$PATH:/usr/local/cuda-12.8/bin"
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/local/cuda-12.8/lib64"

必要なパッケージをインストールします：

# vLLM および ModelScope をインストールします。
uv pip install vllm==0.7.2
uv pip install modelscope

# GPU モニタリングツールをインストールします（任意）。nvidia-smi を使用することもできます。
uv pip install nvitop

QwQ-32B モデルおよびベンチマークスクリプトのダウンロード

# システムディスクの空き容量不足を回避するため、モデルを /data にダウンロードします。
mkdir -p /data/Qwen/QwQ-32B
cd /data/Qwen/QwQ-32B
modelscope download --model Qwen/QwQ-32B --local_dir .

# （任意）データセットをダウンロードします。
wget https://www.modelscope.cn/datasets/gliang1001/ShareGPT_V3_unfiltered_cleaned_split/resolve/master/ShareGPT_V3_unfiltered_cleaned_split.json

# git が未インストールの場合はインストールします。
apt update
apt install git -y

# ベンチマークスクリプト用に vLLM リポジトリをクローンします。
git clone https://github.com/vllm-project/vllm.git

vLLM サーバーの起動

vllm serve /data/Qwen/QwQ-32B/ \
  --host 127.0.0.1 \
  --port 8080 \
  --tensor-parallel-size 2 \
  --trust-remote-code \
  --served-model-name qw \
  --gpu-memory-utilization 0.95 \
  --enforce-eager \
  --max-num-batched-tokens 8192 \
  --max-model-len 8192 \
  --enable-prefix-caching

ベンチマークの実行

python3 ./vllm/benchmarks/benchmark_serving.py \
  --backend vllm \
  --served-model-name qw \
  --model /data/Qwen/QwQ-32B \
  --dataset-name random \
  --random-input 1024 \
  --random-output 4096 \
  --random-range-ratio 1 \
  --max-concurrency 4 \
  --num-prompts 10 \
  --host 127.0.0.1 \
  --port 8080 \
  --save-result \
  --result-dir /data/logs/ \
  --result-filename QwQ-32B-4-1-4.log

結果の確認

以下の画像は、ベンチマーク出力の例を示しています。