このトピックでは、PAI-ChatLearn トレーニングフレームワークを使用して、PAI 上で Lingjun リソースを用いて大規模言語モデル (LLM) の効率的な分散強化学習を実行する方法について説明します。また、トレーニング済みモデルのデプロイ方法についても説明します。このソリューションは、強化学習を通じて LLM の推論能力を向上させたいシナリオに適しています。
1. 事前準備
1.1 開発環境の準備
開始する前に、以下のタスクが完了していることを確認してください。
-
Lingjun リソースを購入し、リソースクォータを作成します。この例では Lingjun リソースが必要です。この例では、
ml.gx8xf.8xlarge-gu108ノードスペックのマシンが 2 台必要です。Lingjun リソースのノードスペックの詳細については、「AI コンピューティングリソースの課金」をご参照ください。 -
データセットを作成し、必要なトレーニングファイルと結果ファイルを保存します。
-
データセットタイプ:ベーシック を選択します。
-
ストレージクラス:ファイルストレージタイプを選択します。このトピックでは、ファイルストレージ (汎用 NAS) を使用します。NAS ファイルシステムがない場合は、「ファイルシステムの作成」をご参照ください。
説明トレーニングタスクで高い読み書き速度とパフォーマンスが必要な場合は、[ファイルストレージ (インテリジェントコンピューティング CPFS)] を使用してください。
-
デフォルトのマウントパス:デフォルト値 /mnt/data/ を使用します。
-
-
Data Science Workshop (DSW) インスタンスを作成します。主要なパラメーターは以下の通りです。
-
リソースタイプ:リソースクォータ を選択します。
-
リソースクォータ:Lingjun リソース用に作成したリソースクォータを選択します。
-
リソース仕様:以下のリソース仕様を設定します。
-
GPU 数: 8 以上。
-
CPU (コア数): 90。
-
メモリ (GB):1024。
-
共有メモリ (GB):1024。
-
-
イメージ情報:イメージアドレス を選択し、ランタイムイメージを
dsw-registry-vpc.cn-wulanchabu.cr.aliyuncs.com/pai-training-algorithm/chatlearn:torch2.5.1-vllm0.6.6-ubuntu22.04-cuda12.6-py310に設定します。レジストリアドレスのリージョンは、ご利用の DSW インスタンスが所在するリージョンに変更する必要があります。例えば、上海の DSW インスタンスを使用している場合、アドレスのリージョンをcn-shanghaiに変更します。 -
データセットのマウント:[カスタムデータセット] をクリックし、作成したデータセットを選択して、デフォルトのマウントパスを使用します。
-
-
Resource Access Management (RAM) ユーザーを使用して以下の操作を実行する場合、その RAM ユーザーに Data Science Workshop (DSW)、Deep Learning Containers (DLC)、または Elastic Algorithm Service (EAS) を使用するために必要な権限を付与する必要があります。詳細については、「製品の依存関係と権限付与:DSW」、「製品の依存関係と権限付与:DLC」、または「製品の依存関係と権限付与:EAS」をご参照ください。
1.2 コードリポジトリのダウンロード
-
PAI-DSW 開発環境に移動します。
-
PAI コンソールにログインします。ページ左上の隅でリージョンを選択します。中国 (ウランチャブ) を推奨します。
-
左側のナビゲーションウィンドウで、[ワークスペースリスト] をクリックします。表示されたページで、管理したいワークスペースの名前をクリックします。
-
左側のナビゲーションウィンドウで、モデル開発とトレーニング > Data Science Workshop (DSW) を選択し、ターゲットインスタンスの 操作 列にある [開く] をクリックします。
-
-
上部のメニューバーで、[ターミナル] をクリックします。表示されたタブで、[ターミナルの作成] をクリックします。
-
ChatLearn コードリポジトリをダウンロードします。
git clone https://github.com/alibaba/ChatLearn.git && cd ChatLearn && git checkout 4ad5912306df5d4a814dc2dd5567fcb26f5d473b
1.3 Qwen3 モデルの準備
ModelScope から Qwen3 モデルの重みをダウンロードします。
modelscope download --model Qwen/Qwen3-8B --local_dir Qwen3-8B
1.4 トレーニングデータセットの準備
この例では、MATH-lighteval データセットを使用して、ChatLearn の強化学習ワークフローをデモンストレーションします。
-
このデータセットは数学的推論タスク用です。報酬スコアの検証には固定のルールを使用します。
-
カスタムタスクで強化学習を実行するには、ChatLearn コードリポジトリの
examples/fsdp/models/rule_reward.pyを参照して、カスタムの報酬スコアリング関数を実装できます。
# データセットをダウンロードします
mkdir -p dataset
modelscope download --dataset AI-ModelScope/MATH-lighteval --local_dir dataset/MATH-lighteval
# データセットを前処理します
python examples/fsdp/data/data_preprocess/math_lighteval.py --input_dir dataset/MATH-lighteval --local_dir dataset/MATH-lighteval
2. 強化学習トレーニング
DLC 環境のマルチ GPU サーバーで分散トレーニングタスクを送信する前に、DSW 環境でコードを開発およびテストしてください。
この例では、トレーニングエンジンとして Fully Sharded Data Parallel (FSDP) を使用します。Megatron-LM を使用してトレーニングを高速化するには、「tutorial_grpo_mcore」をご参照ください。
2.1 DSW でのシングルノードトレーニング
引き続き DSW 環境で、以下のコマンドを実行してトレーニングを開始します。トレーニング済みのモデルは、後のデプロイメントのためにマウントされたデータセットに保存されます。
bash examples/fsdp/scripts/train_grpo_qwen3.sh
train_grpo_qwen3.sh のデフォルトパラメーターを使用した場合、トレーニングには 2〜3 時間かかると予想されます。
2.2 DLC でのマルチノードトレーニング
シングルノードでの開発とテストが完了したら、DLC 環境のマルチ GPU サーバーで分散タスクを設定して、モデルのトレーニングを高速化できます。
-
[タスクの作成] ページに移動します。
-
PAI コンソールにログインします。ページの上部で、ターゲットリージョンを選択します。右側で、ターゲットワークスペースを選択し、[DLC に入る] をクリックします。
-
Deep Learning Containers (DLC) ページで、[タスクの作成] をクリックします。
-
-
タスクの作成 ページで、以下の主要なパラメーターを設定します。他のパラメーターはデフォルト値を使用します。詳細については、「トレーニングタスクの作成」をご参照ください。
パラメーター
説明
基本情報
タスク名
カスタムのタスク名。この例では test_qwen3_dlc を使用します。
環境コンテキスト
イメージ情報
イメージアドレス を選択し、テキストボックスに次のアドレスを入力します:dsw-registry-vpc.cn-wulanchabu.cr.aliyuncs.com/pai-training-algorithm/chatlearn:torch2.5.1-vllm0.6.6-ubuntu22.04-cuda12.6-py310。レジストリアドレスのリージョンは、現在のリージョンと一致するように変更する必要があります。
データセットのマウント
[カスタムデータセット] をクリックし、作成したデータセットを選択して、デフォルトのマウントパス
/mnt/data/を使用します。開始コマンド
次のコマンドを設定します。train_grpo_qwen3.sh スクリプトの起動パラメーターは、DSW でのシングルノード事前学習のものと同じです。
cd /mnt/data/ChatLearn && bash examples/fsdp/scripts/train_grpo_qwen3.shリソース情報
リソースタイプ
[Lingjun AI 計算] を選択します。
リソースソース
[リソースクォータ] を選択します。
リソースクォータ
Lingjun リソース用に作成したリソースクォータを選択します。
フレーム
[PyTorch] を選択します。
タスクリソース
Worker ノード設定タブで、次のパラメーターを設定します:
-
数量:2。マルチノードトレーニングの場合、[ノード数] を必要なマシンの数に設定します。
-
GPU (カード数): 8
-
CPU (コア数):90
-
メモリ (GiB):1024
-
共有メモリ (GB):1024
-
-
OK をクリックします。[Deep Learning Containers (DLC)] ページにリダイレクトされます。タスク名をクリックして、[タスク詳細] ページでタスクの実行ステータスを表示できます。[ステータス] が [成功] に変わると、トレーニングタスクは完了です。
説明DLC ジョブが失敗し、エラーメッセージ
ray.exceptions.RpcError: Timed out while waiting for GCS to become available.が表示された場合でも、実際にはトレーニングタスクは完了しています。保存されたモデルをサービスとしてデプロイする手順に進むことができます。
2.3 主要なパラメーターの説明
3. モデルのデプロイと呼び出し
モデルのトレーニングが完了したら、モデルをオンラインサービスとしてデプロイし、本番環境で呼び出すことができます。
3.1 モデルサービスのデプロイ
-
PAI コンソールにログインします。ページの上部で、ターゲットリージョンを選択します。右側で、ターゲットワークスペースを選択し、[EAS に入る] をクリックします。
-
モデルのアップロードとデプロイメント をクリックします。カスタムモデルのデプロイ エリアで、カスタムデプロイメント をクリックします。
-
カスタムデプロイメント ページで、以下の主要なパラメーターを設定します。他のパラメーターはデフォルト値を使用します。
パラメーター
説明
基本情報
サービス名
モデルサービスのカスタム名。同じリージョン内で一意である必要があります。この例では test_qwen3 を使用します。
環境コンテキスト
デプロイメント方式
イメージデプロイメント を選択します。
イメージ設定
イメージアドレス を選択し、テキストボックスに次のレジストリアドレスを入力します:
eas-registry-vpc.cn-wulanchabu.cr.aliyuncs.com/pai-eas/vllm:v0.8.5.post1。レジストリアドレスのリージョンは、現在のリージョンと一致するように変更する必要があります。ストレージのマウント
[汎用 NAS] を選択し、次のパラメーターを設定します:
-
[ファイルシステムの選択]:データセットの作成に使用した NAS ファイルシステムを選択します。
-
[ファイルシステムのマウントポイント]:データセットの作成に使用したマウントポイントを選択します。
-
[ファイルシステムパス]:NAS に保存されている Hugging Face モデルへのパス。この例では
/ChatLearn/output/qwen3-grpo/save_model/policy_trainer/20/huggingface/を使用します。 -
マウントパス:マウント後のパス。この例では
/qwen3_rlhfを使用します。
コマンドの実行
vllm serve /qwen3_rlhf --host 0.0.0.0 --port 8000 --max-model-len 8192に設定します。説明V100 インスタンスにデプロイする場合、実行コマンドを
vllm serve /qwen3_rlhf --host 0.0.0.0 --port 8000 --max-model-len 8192 --dtype=halfに設定します。ポート番号
8000 に設定します。
リソースのデプロイメント
リソースタイプ
[パブリックリソース] を選択します。
レプリカ数
モデルと選択したリソースに基づいて設定します。8B モデルの場合、これを 1 に設定します。
リソースのデプロイメント
リソース仕様には、A10 または V100 インスタンスを選択します。この例では
ecs.gn7i-c32g1.8xlargeを使用します。ネットワーク情報
VPC
NAS マウントポイントを設定すると、システムは自動的に VPC と vSwitch をプリセットの NAS ファイルシステムと一致させます。必要に応じてセキュリティグループを設定します。
vSwitch
セキュリティグループ
-
-
デプロイメント をクリックします。サービスのデプロイには約 6 分かかります。[サービスステータス] が [実行中] に変わると、サービスのデプロイは完了です。
3.2 サービスの呼び出し
-
サービスのエンドポイントとトークンを取得します。オンライン推論サービス タブで、ターゲットサービスを見つけ、概要 ページに移動します。基本情報 セクションで、エンドポイント情報の表示 をクリックします。
-
次のコードを使用してサービスを呼び出します。<YOUR EAS URL> を前のステップで取得したエンドポイントに置き換えます。トークンは環境変数として設定します。
import os from openai import OpenAI # トークンを環境変数として設定します。 openai_api_key = os.environ.get("Token") # <YOUR EAS URL> をサービスのエンドポイントに置き換えます。 openai_api_base = "<YOUR EAS URL>/v1" client = OpenAI( api_key=openai_api_key, base_url=openai_api_base, ) chat_response = client.chat.completions.create( model="/qwen3_rlhf", messages=[ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "Find the smallest positive integer solution to $\\tan{19x^{\\circ}}=\\dfrac{\\cos{96^{\\circ}}+\\sin{96^{\\circ}}}{\\cos{96^{\\circ}}-\\sin{96^{\\circ}}}$. Let's think step by step and output the final answer within \\boxed{}."}, ], temperature=0.7, top_p=0.8, presence_penalty=1.5, extra_body={ "top_k": 20, "chat_template_kwargs": {"enable_thinking": False}, } ) print("チャット応答:", chat_response)
付録: トレーニングとデプロイのためのリソース仕様リファレンス
次の表に、さまざまなモデルサイズでサポートされているリソース仕様を示します。
|
モデルサイズ |
フルパラメーター トレーニングリソース (最小) |
推論リソース (最小) |
|
|
数量 |
仕様 |
||
|
Qwen3-8B |
1 台 |
|
1 × V100 (32 GB VRAM) / 1 × A10 (24 GB VRAM) |
|
Qwen3-32B |
2 台 |
4 × V100 (32 GB VRAM) / 4 × A10 (24 GB VRAM) |
|
|
Qwen3-30B-A3B |
2 台 |
4 × V100 (32 GB VRAM) / 4 × A10 (24 GB VRAM) |
|